광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생 문제 해결법

광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생 문제 해결법

티스토리 측 서버 호스팅 과부하 발생 문제 및 호스팅 서버 액세스와 관련 문제일 확률이 높습니다. 이 부분은 저희가 조치할 수 없는 부분이기 때문에 할 수 있는 다른 방법들로 조치를 취해야 합니다. 거의 티스토리 서버 문제로 인한 오류 발생이 대부분입니다. 또한 호스팅 액세스 관련 문제에 대해서는 직접 호스팅 관리를 할 수 없기 때문에 구조화된 원인을 찾기에는 어려움이 있습니다. 여러 이유가 있겠지만 근본적인 사안은 페이지가 제대로 크롤링 및 색인되지 않아 일어나는 원인일 확률이 높습니다.

다만 아래 요인들도 작용을 할 수 있다는 것만 참고해 주시면 좋겠습니다.

크롤러 호스트 오류 문제 개요

구글 서치콘솔 크롤링 통계자료 보고서에서의 호스팅 상태는 지난 90일 동안의 보편적인 가용성 상태가 요약 보고 됩니다. 지난 90일 동안 아니면 과거에 사이트에 영향을 미치는 가용성 문제에 관하여 최근 90일간 호스트 문제없었음 아니면 지난주 호스트 문제 있었음과 같은 형식으로 표시되는 것입니다. 지난주 호스트 문제 있었음의 경고는 구글에서 콘텐츠에 액세스 하지 못하는 서버연결에 실패율이 높기 때문에 표시되는 것으로 구글이 사이트를 크롤링할 때 서버 통합 오류율이 당일 기준값을 초과하는 경우 문제로 간주합니다.

호스트 상태는 초록색이 이상적이나 가용성 상태가 빨간색이면 클릭하여 robots.txt 가용성, DNS변환 및 호스트 연결에 대한 가용성 세세한 사항 확인을 하여 문제가 어디에서 발생하는지 파악하게 됩니다.

Googlebot 유형기준

구글봇 유형 기준으로 크롤링 실패가 발생되고 있는 것은 Adsbot으로 13에서 55로 산술 평균 36가 크롤링 실패가 발생되고 있습니다. 나머지 데스크톱, 페이지리소스, 스마트폰에서는 크롤링 오류가 거의 없거나 미미합니다. 현재 홈페이지 AE 중 다음을 통해 검색으로 유입되는 것은 거의 없습니다.. 다음 유입이 안 되는 이유는 알고 싶지도 않습니다. 왜냐하면 블로그티스토리를 개설하여 어느 정도 운영합니다. 보시면 다음에서 최적화되고 상위 검색 노출이 되다가 어느 날 갑자기 이유도 원인도 모르는 상태에서 맑은 하늘에서 날벼락 맞듯이 다음 최적화에서 제외되며 유입이 하나도 없는 현상이 발생되기 때문입니다.

현재는 6월 다음 자체광고가 시작된 이후부터는 검색되는 글이 어쩌다.

크롤링요청기준별내역 분석

A D는 티스토리 사이트이고, E는 블로그 포스트 스폿입니다. 사이트별 글 내용 외 글 쓰는 형식이나 유형은 AE 모두 거의 같다고 할 수 있어요. 그러나 홈페이지 A D는 문제 있음 홈페이지 E는 문제없음인 상태로 크롤링 통계가 보고 되고 있습니다. 다음은 사이트의 기준별 크롤링 통계자료 보고 내역입니다.

응답기준으로 볼 때 응답 성공비율은 62에서 86로 산술 평균값은 71.4입니다. 페이지 연결할 수 없는 응답 실패율은 10에서 33로 산술평균값이 22.75입니다.

주목할 것은 티스토리에서만 응답실패가 나타나고 있으며, 블로그스폿은 아직 응답실패율이 나타나고 있지 않고 있다는 것입니다. 글 발행 수가 대조적으로 적은 영향인지 그 이유는 아직은 명확하게 알 수는 없습니다..

파일형식기준

파일 형식기준으로 볼 때 AD 사이트의 크롤링실패율은 12에서 37로 산술 평균 26.75 이고, E홈페이지는 1 미만입니다. 새로고침의 크롤링 실패는 구글 Adsbot이 실패가 원인이며 검색에서는 거의 실패율이 없는 것으로 확인이 됩니다. 새로고침을 줄이려면 크롤링 속력을 늦추는 것일 것입니다. 그러나 홈페이지 소유자가 통제할 수 있는 문제라고 보기는 어렵다고 생각됩니다. 각 구글 크롤러는 특정 목적에 따라 여러 속도로 사이트에 액세스 한다고 하고 있습니다.

구글에서는 알고리즘을 사용하여 각 사이트에 가장 알맞은 크롤링속력을 결정한다고 하고 있으나 구글 크롤러가 사이트를 너무 자주 크롤링한다면 크롤링 속력을 줄일 수는 있는 것입니다.

Adsbot 페이지 통합 실패 해결 방법

광고 품질 관리를 하는 Adsbot의 페이지 통합 실패가 원인이 된 호스트 오류에 대한 해결 방안으로 나의 관점에서 볼 때 홈페이지 사용자가 할 수 있는 것은 없어 보입니다. 다만 위에서와 같이 크롤러 요청 기준별 내역을 분석해 봄으로써 페이지 통합 실패 원인을 파악할 수 있었다는데 의의는 둘 수 있다고 하겠습니다. 추후에라도 해결방법이 도출된다면 게시물 내용을 보충하거나 다시 글을 작성 공유하겠습니다.

크롤러 관리는 일반적으로 구글봇이 생성하는 요청 회수를 줄이도록 선택하라는 것입니다. 그러나 구글봇이 크롤링속력을 낮추는 것은 광범위한 영향을 미치므로 주의할 것도 주문을 하고 있습니다. 크롤링 속력을 낮출 때에 끼치는 영향은 새 페이지는 적게 발견되고, 기존페이지의 새로 고침 빈도가 줄어들지만 검색반영되는 데는 더 오래 걸릴 수 있고, 삭제된 페이지가 색인에 더 오래 남아 있을 수 있다고 해서 주의하라고 하는 것입니다.

자주 묻는 질문