애드센스 크롤러 오류 원인과 해결 방법

최근에 애드센스에 스코어카드라는 게 생겼어요. 거기에 파랜색 동그라미로 점수를 표시해주죠. 세부 항목에는 느낌표를 이용해서 수정할 부분을 알려주기도 하고요.

수익최적화 항목 중에 크롤러 오류라는 항목이 있어요. 티스토리 블로그를 운영하시는 분들은 이곳이 아마 빨간색 느낌표일 겁니다.

이 크롤러 오류 때문에 수익최적화 점수가 낮게 설정되는 걸 보고 걱정하시는 분들이 많더라고요. 그래서 크롤러 오류가 왜 생기는 지 그리고 어떻게 해결해야하는 지에 대해서 간단히 알아보죠. 사실 진짜 별거 아니거든요.

크롤러는 검색엔진의 기본인 DB를 모으는 역할을 해요. 그러니까 웹을 돌아다니면서 문서를 찾아주는 거죠. 크롤러가 찾은 문서들의 색인을 만들고, 검색요청이 들어오면 색인 중에서 알맞는 문서를 보여주는 것이 검색입니다.

애드센스 크롤러가 해당 페이지에 접속하지 못하면 페이지의 내용을 파악할 수가 없고 내용과 관련성이 높은 광고를 보여줄 수가 없어요. 관련성이 낮은 광고가 표시되면 클릭율이 떨어질테고, 그건 수입이 하락하는 이유가 되겠죠? 그래서 애드센스에서는 수익과 직접 관련된 크롤러 오류를 점수로 보여주는 겁니다.

애드센스의 크롤러 오류를 확인하려면 애드센스 홈 - 계정 설정 - 실패한 크롤링 오류 요청 오류보기를 선택하세요.

크롤러 오류 보기 - 홈 메뉴

크롤러 오류 보기 - 계정 설정 화면

크롤러 오류 보기 - 오류 확인

저는 오류가 67개나 있네요.

애드센스에서 나타나는 크롤러 오류는 세 가지인데, 로그인이 필요한 콘텐츠 오류는 티스토리에서 생기지 않는 오류에요. 따라서 티스토리에서는 다음의 두 가지 오류만 생깁니다.

로봇이 거부됨

로봇은 크롤러의 다른 이름이에요. 각 사이트마다 robots.txt 파일을 만들고 거기에 검색 엔진이 어떻게 행동했으면 좋겠다하는 내용을 적어놔요. 어디는 들여다 봐도 괜찮아. 어디는 들여다 보지마라 등 여러 가지 설정을 할 수 있죠.

http://본인아이디.tistory.com/robots.txt에 접속해보세요. 아래처럼 되어있을 겁니다.

User-agent: *
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /tag
Allow: /

애드센스의 크롤러를 비롯한 검색엔진의 크롤러에게 owner, admin, tag, search 가 들어있는 디렉토리는 접속하지 말라고 해놨어요. 애드센스 크롤러는 이 주소에 접속할 수 없으니 페이지 정보에 대한 색인을 만들 수 없는 거죠.

실제 주소가 있어서 애드센스 광고는 노출이 되는데, 크롤러가 접속할 수 없으니 오류가 생기는 거에요.

크롤러가 해당 페이지에 접속할 수 있게 해줘야 하는데, robots.txt 파일을 수정할 수 없으니 사용자가 할 수 있는 건 없습니다. 그러니까 이런 오류가 생기면 그냥 포기하세요.

크롤러 오류 meta tag로 해결될까?

로봇이 거부되었을 때의 해결책으로 meta 태그 <meta name=robots" content="all">를 이용하는 방법이 알려지기도 했는데, 좀 의문이 듭니다.

물론 메타태그를 이용하여 검색엔진이 크롤링을 하도록 허용하면 크롤링을 잘 하죠. 하지만 robots.txt에서 막아놓은 문서까지도 크롤링할 수 있느냐는 또 다른 문제에요.

구글 웹마스터 공식 블로그의 Using the robots meta tag라는 글 중에 이런 내용이 있어요.

If you use both a robots.txt file and robots meta tags
If the robots.txt and meta tag instructions for a page conflict, Googlebot follows the most restrictive. More specifically:

If you block a page with robots.txt, Googlebot will never crawl the page and will never read any meta tags on the page.

If you allow a page with robots.txt but block it from being indexed using a meta tag, Googlebot will access the page, read the meta tag, and subsequently not index it.

"robots.txt로 페이지를 막아놨다면 구글봇은 그 페이지를 크롤하지않고, 메타 태그도 읽지 않는다"라고 되어있어요. 구글 검색엔진의 크롤러와 애드센스의 크롤러는 다른 것이긴 하지만 똑같이 적용될 거라고 생각이 들어요. 따라서 메타태그를 이용한다고 해도 애드센스의 크롤러 오류가 없어지지는 않을 겁니다.

혹 meta 태그를 적용하신 분들은 오류가 없어지는 지 확인해보세요. 애드센스 크롤러가 robots.txt 파일의 설정에도 불구하고 meta 태그를 읽는다면 오류 개수가 줄어드는 것이 아니라 없어져야 됩니다.

페이지를 찾을 수 없음

이 경우는 사용자가 직접 해결할 수 있어요.

크롤러가 문서에 링크 주소가 있어서 그 페이지에 갔더니 실제로 해당 페이지가 없는 거예요. 그래서 찾을 수 없어요 하는 거죠.

해결방법은 간단해요. 링크 주소에 나와있는 페이지를 만들어 주거나 비공개 글이라면 공개로 전환해 주는 거죠. 아니면 잘못된 주소를 포함한 링크를 삭제하거나요.

스킨 수정과 크롤러 오류의 관계

어떤 분이 스킨을 바꿨더니 크롤러 오류가 생기더라 하는 얘기를 하시더라고요.

기본적으로 크롤러 오류와 스킨 수정은 별로 관계가 없습니다. 그냥 우연의 일치에요. 한가지 가능성이 있다면 스킨을 수정하면서 잘못된 링크 주소를 사용한 경우라고 할 수 있죠. 이 때는 "페이지를 찾을 수 없음" 오류가 나올 수 있어요. 하지만 일반적으로 스킨을 수정할 때 링크 주소를 수정하는 경우는 거의 없잖아요.

애드센스 크롤러는 일주일에 한 번 크롤링을 한다고 하는군요. 정해진 날짜가 있으니 오류를 수정해도 바로 스코어카드의 점수가 올라가지는 않아요.

스코어가드의 점수가 애드센스 수익에 직접적인 영향을 미치는 것은 아닌지 궁금해하는 분들이 계시는데, 그런 것은 아닙니다. 스코어카드의 점수는 애드센스 수익을 어느 정도나 얻을 수 있는가에 대한 환경적 요인들에 대한 점수니까요. 스코어카드의 점수가 높으면 애드센스 수익이 많이 생길 수 있는 환경이고, 점수가 낮으면 수익이 적게 나올 수 있는 환경이라는 거지요.

블로거는 스코어카드의 점수를 높이기위해서 노력을 할 게 아니라 수익을 높일 수 있는 환경을 만들기 위해서 노력해야 해요.