티스토리 애드센스 광고 크롤러 오류 원인과 해결방법

애드센스 관리 화면의 상단에 아래 사진과 같이 '▲ 광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다.' 라고 표시가 떴다. 구글 애드센스 정책을 위반하는 행위가 아닌 이상 그냥 무시해 버려도 별 상관 없지만, 수익 손실이 발생할 수 있다는 문구가 매우 신경쓰였다. 어제 티스토리 스킨을 변경하고, 티스토리 내에 구글 애드센스 연결 기능을 활용해서 이런 문제가 발생한걸까? 하여튼 수익 손실이 발생할 있다고 하니 해결을 위해 검색을 했다.

애드센스 광고 크롤러 오류 메시지

광고 크롤러 오류가 뭐야?

우리가 블로그에 글을 쓰면 네이버, 구글, 다음 같은 검색엔진들 소유의 로봇이 글을 수집해 간다. 네이버 검색엔진 로봇이 블로그 글을 수집해 가지 않으면 네이버 검색 결과 화면에 내 블로그 글은 보이지 않게 된다. 검색엔진 로봇들이 내 블로그 글을 잘 수집해 가라고 네이버 웹마스터도구, 구글 서치 콘솔 등에 가서 우리 블로그를 등록했던 것이다. 내 블로그가 이렇게 온라인 세상에 존재하니 글을 수집해 가라고 위치를 알려주는 것이다. 이렇게 알려주지 않아도 검색엔진 로봇들이 내 블로그를 찾아내어 글을 수집해 가기도 한다. 더 빨리 내 블로그를 찾아서 더 빨리 내 글을 수집해 가란 의미로 직접 네이버 웹마스터도구, 구글 서치 콘솔에 가서 내 블로그를 등록한 것이다.

이렇게 글을 수집해 가는 것을 크롤링이라고도 말한다. 내 블로그 글을 긁어가는 것이다. 구글 검색엔진 로봇과 별개로 구글 애드센스는 별도의 크롤러가 존재한다. 검색엔진 로봇, 즉 검색엔진 크롤러와 애드센스 크롤러가 각각 있는 것이다. 지금 직면한 문제인 광고 크롤러 오류라는 것은 애드센스 크롤러가 내 블로그 또는 내 블로그의 특정 포스트(글)에 접근을 하지 못했다는 것이다.

광고 크롤러 오류가 왜 발생한거야?

정확한 원인은 잘 모르겠다. 어디서 꼬인거지? 어찌 되었던 간에 광고 크롤러가 내 블로그의 특정 포스트에 접근을 하지 못했다고 하니 더 접근을 잘 할 수 있도록 해주는 것이 해결방법이다. 우리는 특정 검색엔진 로봇(크롤러)이 우리 블로그 글을 긁어가지 못하도록 차단할 수 있다. robots.txt 라는 파일에 "내 글 긁어가지마"라는 의미의 메시지를 적는 것이다. 모든 검색엔진 로봇(크롤러)이 내 글을 긁어가지 못하게 할 수도 있고, 특정 검색엔진 로봇(크롤러)만 차단할 수도 있다. 내 블로그의 몇몇 글들만 긁어가지 못하도록 할 수도 있다.

애드센스 광고 크롤러가 내 블로그에 원활히 접근하지 못하는 것 같으니 robots.txt 파일 안에 메시지를 수정해주면 해결이 된다는 것이 내가 검색을 통해 확인한 내용, 결론이다. 그런데 티스토리 블로그는 티스토리 회사에서 알아서 robots.txt 파일을 공통적으로 만들어 두었는데 애드센스 광고 크롤러를 차단하는 메시지를 적어두지 않는다. 그러니 정말 애드센스 관리화면에서 말하는 것처럼 '알 수 없는 오류'이다.

크롤러 알 수 없는 오류 호스팅서버 과부하

문제 유형 : 크롤러 알 수 없는 오류, 호스팅서버 과부하

티스토리 사용자가 따로 robots.txt 파일에 손대지 않았다면 이 문제는 딱히 해결방법이 없다. 알 수 없는 오류에 아둥바둥 할 것 없이 그냥 두면 자연스럽게 알아서 해결이 된다고 하니 기다려보자. robots.txt 파일을 수정하여 티스토리에 다시 업로드 하는 방법을 알려주는 글도 있지만, 사실 그 방법은 이미 문을 열어서 누구나 우리 집에 들어 올 수 있게 해두고 일부 안방과 서재는 들어가지 못하게 해놓은 상태를 안방, 서재까지 모두 활짝 열어 놓는 해결책이라서 딱 맞는 방법이 아니다. 기다리자.

 

참고한 포스팅

• https://invitetour.tistory.com/1148
• https://3rdscholar.tistory.com/17
• https://herbplus.tistory.com/158