광고 크롤러 오류 해결책 feat구글애드센스 수익손실발생

광고 크롤러 오류 해결안 feat구글애드센스 수익손실발생

기존에 Spring 서버 내에서 카카오 소셜 로그인을 했었다. 하지만 최근 시기 React를 통해 프론트서버를 구현했고, 이에 따라 몇가지 변동이 생겼습니다. 위처럼 맞춰서 코드를 변경하던 도중 역시나 오류가 등장합니다. 처음 카카오 로그인 버튼을 눌러서 인가코드를 받아오는 것은 무리없이 되는 것처럼 보입니다. GET 메소드에 쿼리스트링 형태로 값도 잘 들어갔고 해당 페이지도 잘 뜹니다. 여기서 동의하고 계속하기를 누르시면 적어둔 RedirectURI로 인가코드와 함께 GET요청이 리다이렉트 됩니다.

이 때 오류가 발생합니다. 받아온 인가코드로 백엔드 서버로 GET요청이 갔는데 이것이 403 됩니다. 이 부분을 프론트에서 검토해보시면 아래 코드에서 문제가 난 것으로 보입니다.

해결 방법

해당 방안으로 해결이 되었습니다. 다른 사용자의 문의 내용을 보니까 일시적인 해결법인거 같기도 한데. 처음 해결. 내 코드 문제가 아니었다. .해당 오류를 겪는 사용자는 많은데 구체적인 해결방법을 찾기 어려워서 정리해봤습니다. 혹시나 해당 오류가 일어나는 분이 있다면야 시도해보시면 좋을 것 같다 오류가 나는 페이지httplocalhost3000를 켠다 개발자 도구를 열어줍니다.

운영 블로그 포스트 폐쇄하는

운영 중인 블로그를 폐쇄하기 위해서는 다시 티스토리 메인화면으로 들어가 줍니다. 그러고 나서 이젠, 계정관리가 아니라 하단에 제작된 블로그 포스트 중 폐쇄할 블로그 포스트 우측에 있는 톱니바퀴 모양을 눌러 줍니다. 그리고 나면 해당 블로그의 메인화면이 나타나는데 이때, 관리블로그 포스트 항목으로 들어가 주세요. 그리고 나면 맨 하단에 데이터 관리하기로 들어가 주세요. 그리고 나면 블로그를 백업할 건지 하는 문구가 있는데, 만일 백업을 진행한다면 체크를 해 주시고 백업하기를 진행해 주시면 됩니다.

백업을 진행하시면 이렇게 데이터 백업이 전개형식 중입니다라는 문구가 나오면서 백업이 시작됩니다. 사진과 글은 모두 백업이 되지만, 댓글, 링크는 백업되지 않습니다. 만일 동영상을 백업하기 위해서는 ”동영상 다운로드”를 별도로 진행해 주시면 됩니다.

크롤러 호스트 오류 문제 개요

구글 서치콘솔 크롤링 통계 보고서에서의 호스팅 상태는 지난 90일 동안의 보편적인 가용성 상태가 요약 보고 됩니다. 지난 90일 동안 혹은 과거에 사이트에 영향을 미치는 가용성 문제에 관해 최근 90일간 호스트 문제없었음 혹은 지난주 호스트 문제 있었음과 같은 형식으로 표시되는 것입니다. 지난주 호스트 문제 있었음의 경고는 구글에서 콘텐츠에 액세스 하지 못하는 서버연결에 실패율이 높기 때문에 표시되는 것으로 구글이 사이트를 크롤링할 때 서버 연동 오류율이 당일 기준값을 초과하는 경우 문제로 간주합니다.

호스트 상태는 초록색이 이상적이나 가용성 상태가 빨간색이면 클릭하여 robots.txt 가용성, DNS전환 및 호스트 연결에 대한 가용성 상세사항 확인을 하여 문제가 어디에서 발생하는지 파악하게 됩니다.

크롤링요청기준별내역 분석

A D는 티스토리 사이트이고, E는 블로그 포스트 스폿입니다. 사이트별 글 내용 외 글 쓰는 형식이나 유형은 AE 모두 거의 같다고 할 수 있어요. 하지만 홈페이지 A D는 문제 있음 홈페이지 E는 문제없음인 상태로 크롤링 통계가 보고 되고 있습니다. 다음은 사이트의 기준별 크롤링 통계 보고 내역입니다.

응답기준으로 볼 때 응답 성공비율은 62에서 86로 산술 평균값은 71.4입니다. 페이지 연결할 수 없는 응답 실패율은 10에서 33로 산술평균값이 22.75입니다.

주목할 것은 티스토리에서만 응답실패가 나타나고 있으며, 블로그스폿은 아직 응답실패율이 나타나고 있지 않고 있다는 것입니다. 글 발행 수가 비교적 적은 영향인지 그 이유는 아직은 명확하게 알 수는 없습니다..

프론트에서 스프링으로 요청을 보낸것이 403 Forbidden 당한 것을 생각하다가 Security 설정의 문제가 있는 지 확인합니다. 혹시 apiusers의 URI가 apiuserskakaocallback URI를 허가해주지 않는 것인가 싶었다. 위처럼 변경했다. 처음 백엔드 쪽으로 요청이 날라가긴 했다. 백엔드 쪽에서의 디버깅이 가능해졌다.

파일형식기준

파일 형식기준으로 볼 때 AD 사이트의 크롤링실패율은 12에서 37로 산술 평균 26.75 이고, E홈페이지는 1 미만입니다. 새로고침의 크롤링 실패는 구글 Adsbot이 실패가 원인이며 검색에서는 거의 실패율이 없는 것으로 확인이 됩니다. 새로고침을 줄이려면 크롤링 속력을 늦추는 것일 것입니다. 하지만 홈페이지 소유자가 통제할 수 있는 문제라고 보기는 어렵다고 생각됩니다. 각 구글 크롤러는 특정 목적에 따라 여러가지 속도로 사이트에 액세스 한다고 하고 있습니다.

구글에서는 알고리즘을 사용하여 각 사이트에 가장 알맞은 크롤링속력을 결정한다고 하고 있으나 구글 크롤러가 사이트를 너무 자주 크롤링한다면 크롤링 속력을 줄일 수는 있는 것입니다.

곧바로 이어서 작업 한 것이 아닌 예전에 작성해뒀던 config 파일같이 거의 상대방이 기록한 코드를 이어서 작업할 때 이런 어려움이 있을수도 있겠구나 싶었다. 허무한 오류에 시간을 쏟지 않도록 기본기를 더 쌓아야하는 시간입니다.

자주 묻는 질문