'META' 태그의 글 목록

애드센스 크롤러 오류 원인과 해결 방법 - 스코어카드

2013. 7. 2. 08:00

최근에 애드센스에 스코어카드라는 게 생겼어요. 거기에 파랜색 동그라미로 점수를 표시해주죠. 세부 항목에는 느낌표를 이용해서 수정할 부분을 알려주기도 하고요.

수익최적화 항목 중에 크롤러 오류라는 항목이 있어요. 티스토리 블로그를 운영하시는 분들은 이곳이 아마 빨간색 느낌표일 겁니다.

이 크롤러 오류 때문에 수익최적화 점수가 낮게 설정되는 걸 보고 걱정하시는 분들이 많더라고요. 그래서 크롤러 오류가 왜 생기는 지 그리고 어떻게 해결해야하는 지에 대해서 간단히 알아보죠. 사실 진짜 별거 아니거든요.

애드센스 크롤러 오류 원인과 해결 방법

크롤러는 검색엔진의 기본인 DB를 모으는 역할을 해요. 그러니까 웹을 돌아다니면서 문서를 찾아주는 거죠. 크롤러가 찾은 문서들의 색인을 만들고, 검색요청이 들어오면 색인 중에서 알맞는 문서를 보여주는 것이 검색입니다.

애드센스 크롤러가 해당 페이지에 접속하지 못하면 페이지의 내용을 파악할 수가 없고 내용과 관련성이 높은 광고를 보여줄 수가 없어요. 관련성이 낮은 광고가 표시되면 클릭율이 떨어질테고, 그건 수입이 하락하는 이유가 되겠죠? 그래서 애드센스에서는 수익과 직접 관련된 크롤러 오류를 점수로 보여주는 겁니다.

애드센스의 크롤러 오류를 확인하려면 애드센스 홈 - 계정 설정 - 실패한 크롤링 오류 요청 오류보기를 선택하세요.

크롤러 오류 보기 - 홈 메뉴

크롤러 오류 보기 - 계정 설정 화면

크롤러 오류 보기 - 오류 확인

저는 오류가 67개나 있네요.

애드센스에서 나타나는 크롤러 오류는 세 가지인데, 로그인이 필요한 콘텐츠 오류는 티스토리에서 생기지 않는 오류에요. 따라서 티스토리에서는 다음의 두 가지 오류만 생깁니다.

로봇이 거부됨

로봇은 크롤러의 다른 이름이에요. 각 사이트마다 robots.txt 파일을 만들고 거기에 검색 엔진이 어떻게 행동했으면 좋겠다하는 내용을 적어놔요. 어디는 들여다 봐도 괜찮아. 어디는 들여다 보지마라 등 여러 가지 설정을 할 수 있죠.

http://본인아이디.tistory.com/robots.txt에 접속해보세요. 아래처럼 되어있을 겁니다.

User-agent: *
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /tag
Allow: /

애드센스의 크롤러를 비롯한 검색엔진의 크롤러에게 owner, admin, tag, search 가 들어있는 디렉토리는 접속하지 말라고 해놨어요. 애드센스 크롤러는 이 주소에 접속할 수 없으니 페이지 정보에 대한 색인을 만들 수 없는 거죠.

실제 주소가 있어서 애드센스 광고는 노출이 되는데, 크롤러가 접속할 수 없으니 오류가 생기는 거에요.

크롤러가 해당 페이지에 접속할 수 있게 해줘야 하는데, robots.txt 파일을 수정할 수 없으니 사용자가 할 수 있는 건 없습니다. 그러니까 이런 오류가 생기면 그냥 포기하세요.

크롤러 오류 meta tag로 해결될까?

로봇이 거부되었을 때의 해결책으로 meta 태그 <meta name=robots" content="all">를 이용하는 방법이 알려지기도 했는데, 좀 의문이 듭니다.

물론 메타태그를 이용하여 검색엔진이 크롤링을 하도록 허용하면 크롤링을 잘 하죠. 하지만 robots.txt에서 막아놓은 문서까지도 크롤링할 수 있느냐는 또 다른 문제에요.

구글 웹마스터 공식 블로그의 Using the robots meta tag라는 글 중에 이런 내용이 있어요.

If you use both a robots.txt file and robots meta tags
If the robots.txt and meta tag instructions for a page conflict, Googlebot follows the most restrictive. More specifically:

If you block a page with robots.txt, Googlebot will never crawl the page and will never read any meta tags on the page.

If you allow a page with robots.txt but block it from being indexed using a meta tag, Googlebot will access the page, read the meta tag, and subsequently not index it.

"robots.txt로 페이지를 막아놨다면 구글봇은 그 페이지를 크롤하지않고, 메타 태그도 읽지 않는다"라고 되어있어요. 구글 검색엔진의 크롤러와 애드센스의 크롤러는 다른 것이긴 하지만 똑같이 적용될 거라고 생각이 들어요. 따라서 메타태그를 이용한다고 해도 애드센스의 크롤러 오류가 없어지지는 않을 겁니다.

혹 meta 태그를 적용하신 분들은 오류가 없어지는 지 확인해보세요. 애드센스 크롤러가 robots.txt 파일의 설정에도 불구하고 meta 태그를 읽는다면 오류 개수가 줄어드는 것이 아니라 없어져야 됩니다.

페이지를 찾을 수 없음

이 경우는 사용자가 직접 해결할 수 있어요.

크롤러가 문서에 링크 주소가 있어서 그 페이지에 갔더니 실제로 해당 페이지가 없는 거예요. 그래서 찾을 수 없어요 하는 거죠.

해결방법은 간단해요. 링크 주소에 나와있는 페이지를 만들어 주거나 비공개 글이라면 공개로 전환해 주는 거죠. 아니면 잘못된 주소를 포함한 링크를 삭제하거나요.

스킨 수정과 크롤러 오류의 관계

어떤 분이 스킨을 바꿨더니 크롤러 오류가 생기더라 하는 얘기를 하시더라고요.

기본적으로 크롤러 오류와 스킨 수정은 별로 관계가 없습니다. 그냥 우연의 일치에요. 한가지 가능성이 있다면 스킨을 수정하면서 잘못된 링크 주소를 사용한 경우라고 할 수 있죠. 이 때는 "페이지를 찾을 수 없음" 오류가 나올 수 있어요. 하지만 일반적으로 스킨을 수정할 때 링크 주소를 수정하는 경우는 거의 없잖아요.

애드센스 크롤러는 일주일에 한 번 크롤링을 한다고 하는군요. 정해진 날짜가 있으니 오류를 수정해도 바로 스코어카드의 점수가 올라가지는 않아요.

스코어가드의 점수가 애드센스 수익에 직접적인 영향을 미치는 것은 아닌지 궁금해하는 분들이 계시는데, 그런 것은 아닙니다. 스코어카드의 점수는 애드센스 수익을 어느 정도나 얻을 수 있는가에 대한 환경적 요인들에 대한 점수니까요. 스코어카드의 점수가 높으면 애드센스 수익이 많이 생길 수 있는 환경이고, 점수가 낮으면 수익이 적게 나올 수 있는 환경이라는 거지요.

블로거는 스코어카드의 점수를 높이기위해서 노력을 할 게 아니라 수익을 높일 수 있는 환경을 만들기 위해서 노력해야 해요.

그리드형

❮ ❯

검색엔진 최적화, SEO를 위한 meta, title, desciption, keywords 사용법

2013. 6. 22. 16:00

meta tag를 이용한 검색엔진 최적화(Search engine optimization)는 네이버같은 국내 검색엔진에서는 별로 소용이 없고 구글 같은 해외의 검색엔진에서 주로 사용하는 걸로 알려져 있어요.

최근에 구글의 검색 점유율이 조금씩 늘어나고 있고, 언제 어디에서 도움이 될 지 모르지 알아두는 게 좋겠죠.

여러 Meta 메타 태그 중 title, description, keywords에 대해서 알아보고 그 사용법에 관한 팁도 몇 가지 알려드립니다. 제가 알고 있던 건 아니고 외국의 어떤 사이트에 있는 걸 퍼온 거에요.

검색엔진 최적화를 위한 Meta 태그 사용법

검색엔진 최적화를 측정할 수 있는 SEOCert에서 수학방 블로그를 측정한 결과입니다. SEO 점수는 66.67이고, 무려 $722의 가치나 있네요.

검색엔지 최적화 측정 결과

여러 가지 항목에 대해서 측정하고 그 결과를 자세히 분석해 줄 뿐아리나 여러 가지 팁들을 소개하고 있는데, 그 중 Meta 태그와 관련된 내용을 올려요.

meta 태그를 이용하는 것이 검색 엔진 최적화에 도움이 된다는 글을 보고, 사용하고 있기는 하지만 어떻게 해야 좋은 지는 정확히 몰랐는데, 이번을 계기로 조금 더 이해할 수 있을 것 같네요.

meta title

검색 결과에서 Title은 사이트로 직접 연결되는 링크 형태로 표시됩니다.

제목에는 공백을 포함하여 10 ~ 70 글자를 포함해야 합니다. (구글은 제목에 최대 70글자를 보여주고, 처음 12단어를 보여줍니다.)
제목에는 가장 중요하고 관련성이 높은 키워드를 넣되 단어를 반복하지는 마세요.
각 페이지는 고유의 제목을 가져야 합니다.

meta description

meta Description은 웹페이지의 축약된 설명을 제공하고, 검색 엔진들은 검색 결과에서 주어진 페이지의 정보를 미리 보여주기 위해서 meta description을 자주 사용합니다.

70 ~ 160 글자를 유지하는 게 가장 좋습니다.
주요 키워드를 사용한 알아보기 쉽고, 설득력있는 키워드는 검색하는 사람들이 더 많은 클릭을 하도록 이끕니다.
키워드로 채우는 것을 피하고, 각 페이지가 고유의 description을 갖도록 해야합니다.

meta keywords

Keywords를 무시해서는 안되지만 그렇다고 대부분의 검색 엔진에서 순위를 결정하는 중요한 요소는 아닙니다. Meta Keyword 태그를 중요한 주제를 담고있는 간결하고 축약된 목록 쯤으로 추정합니다.

키워드 목록이나 키워드 구문을 10 ~ 20의 고유한 단어나 문구로 유지하세요.
키워드나 키워드 구문을 콤마(,)로 구분하세요. (콤마로 구분된 단어 사이에 공백을 넣을 필요는 없습니다.)
단어나 구문을 반복하지 마세요.
목록의 처음에 가장 중요한 단어나 구문을 넣으세요.

meta tag를 티스토리에 적용하기

위의 내용대로 메타 태그에 사용할 title과 description, keywords를 결정했다면 이제 티스토리에 적용해봐야겠죠?

그런데 티스토리에서는 스킨 편집에서 일괄적으로 바꿔야하므로 각 페이지마다 고유의 meta tag를 작성할 수는 없어요. 그래도 다른 부분은 지킬 수 있는 만큼 적용해봐야겠죠.

스킨에 직접 입력할 수도 있고, 치환자를 이용할 수도 있어요. 치환자를 이용하면 티스토리 관리자의 환경설정 - 기본정보 정한 내용을 보여줍니다.

검색엔진 최적화 - 치환자 이용 2

검색엔진 최적화 - meta 삽입

meta 태그를 <head>와 </head>사이에 넣어주세요.

메타 태그를 넣는다고 검색의 우선순위가 눈에 띄게 높아지거나 하지는 않을테지만 그래도 아주 약간이라도 도움이 된다면 적용하는 게 좋겠죠?