광고 크롤러 오류 완전 해결(문제=크롤러 : 호스팅 서버 과부하)-따라하기

[광고 크롤러 오류 완전 해결(문제=크롤러 : 호스팅 서버 과부하)-따라하기]

 

=======================

#.Contents

1. 크롤러 오류 말머리

2. 크롤러 발생 원인

3. 진행 사항

4. 따라하기

5. 추가 크롤링 문제 링크

========================

 

1. 크롤러 오류 말머리

구글 애드센스 문제 내용이 상기 제목과 같다면 하기와 같이 따라 해보세요.(문제의 내용에 따라 해결 방법이 다를 수 있으니 참고만 하세요. 그런데! 크롤러 문제가 거의 대부분 콘솔과 애드 센스 사이트에서 해결 되는 문제들입니다. 해결 할 수 있습니다.^^)

 

저 같은 경우 기다리는 성격이 되지 못해서 구글 도우미 및 구글 검색 엔진, 구글 서치 콘솔, 애드 센스를 전~~~부 확인하여 해결 방법을 찾아 냈고, 크롤러 문제가 완전 해결 된 상태 입니다. (문제가 발생하고 해결 되기까지 약 3일 걸렸습니다.) 다른 분들은 2주 걸렸다는 분이 있도 한달 동안 해결 안 되었다는 분이 있는데, 그분들 비교 하자면 아주 빨리 해결 된 캐이스입니다.^^(저보다 빨리 해결 되신 분이 있으시다면 방법을 링크로 공유 부탁드립니다.^^)

---

2. 크롤러 발생 원인

원인을 추론하자면, 크롤러가 내 블로그의 글을 검토 하면서 삭제된 게시글 때문 이거나 광고를 붙일 수 없는 현상이 발생하여 호스팅(광고 게제)에 문제가 발생 했다고 구글 검색 서버에 보고를 한 것으로 판단 됩니다. 

(추론의 근거는, 방문자 숫자 증가 이상 현상 발생입니다. 내용은 방문자가 많은 게시글을 삭제 후 서버 문제가 있다고 크롤러가 알려 줬으며, 티스토리에 게시글이 없는 대도 방문자가 지속적으로 늘어나는 현상이 있습니다. 티스토리에는 글이 없지만 구글 검색 엔진에는 삭제된 글의 URL이 살아 있었고, 많은 사람들이 구글에서 검색 후 삭제된 게시글을 클릭하면서 서버 과부하가 생긴 것입니다.)

---

3. 진행 사항(결과)

1일 - 수요일) 크롤러 문제 발생! 문제 해결 방안 검색....

2일 - 목요일) 크롤러 문제 신경 쓰지 않고 업무에 집중, 해결 될 것이라는 다른 블로거 님들 말을 듣고 방치 했음.

3일 - 금요일 오전) 업무 중간 중간 구글 검색 엔진, 구글 서치 콘솔, 애드 센스를 다 확인 하여 해결 방안 확인.

        금요일 저녁) 크롤러 문제 완전 해결 확인.

---

4. 따라하기

천천히 읽어 보시고 따라 해보시기 바랍니다.^^

 

1) 구글 애드 센스정책센타에서 문제 내용을 확인 합니다.

   (문제=크롤러 : 호스팅 서버 과부하)

tenguy

2) 구글 서치 콘솔 접속(그림 참조)

→ 대표 URL 실적 클릭(문제 내용 확인)

→ 대표 사이트가 문제가 없을 경우,

→ 색인 생성 범위 클릭, 색인 생성 범위에서 가장 최근 또는 문제를 일으켰을 것으로 예상되는 URL을 확인.(게시글이 많아서 찾기 어렵다면, 크롤링이 발생한 시점에서 부터 게시글의 URL을 검사, 대부분 색인 생성 범위를 확인하면 크롤링이 문제된 게시글을 찾을 수 있습니다.) 문제의 "삭제된 게시글"을 찾았다면, 티스토리에는 없지만 검색 엔진에는 URL이 그대로 살아 있기 때문에 삭제 요청을 합니다.(삭제 방법은 하기 링크 연결 하였습니다.)

→ 삭제 요청이 되었다면, 이제 마지막으로 크롤러에게 내 블로그에 문제가 없어 졌으니 재 방문 해 달라고 요청 해야 합니다. (크롤러가 언제 재 방문 하는지 알 수 없기 때문에 아래와 같이 방문 요청 합니다.)

(구글에서도 크롤러가 언제 블로그에 재 방문 하는지 알수 없다고 합니다. 2주에 한번 오는지 한달에 한번 오는지 알수 없습니다.)

→ 기다릴 수 없기 때문에 좌측 메뉴에 "사이트맵(sitemaps) 클릭"

→ 첫번째로 URL 입력란에 "sitemaps.xml" 엔터를 누르면 검사를 시작하겠다고 표시합니다. 두번재로 "RSS"를 입력하고 엔터를 누르면 동일하게 검사를 시작하겠다고 표시됩니다.(마지막으로 읽은 날짜가 오늘로 변경 될 것입니다.) 날짜가 변경 되면 크롤러가 내 블로그를 방문하여 재 검토 하겠다는 약속을 한 것입니다.

이제 기다리면 됩니다.

tenguy

tenguy

tenguy

여기까지 오전에 진행 하셨다면, 오후쯤에 애드 센스 접속시 크롤러 문제가 사라져 있을 것입니다.(길게는 다음날에 보시면 해결 되어 있을 것입니다.) 만약 문제가 해결 되지 않았지만 sitemap에 계속 검사중이라면 조금더 기다려 보시기 바랍니다.

 

만약, 위에 내용을 따라 했는데 다음날 접속을 했을때, 크롤러 문제가 그대로라면... 하기 내용을 추가로 따라해보세요. 

---

3) 크롤러가 내 블로그를 방문 했을 때, 로그인 비밀 번호 또는 암호가 있는 게시글을 읽어 올 수 없어서 생긴 문제 일 수 도 있습니다. (크롤러가 중요한 글을 읽지 못하게 하는 방법이 있다고 합니다. 저도 도움말 보면서 아~이런 것도 있구나 했었습니다.)

 

애드센스 접속

→ 계정

→ 엑세스 및 승인

→ 크롤러 엑세스 클릭(문제가 있다면 여기서 크롤러가 로그인을 못하고 있을 것입니다.)

→ 문제시된 대표 URL을 입력

→ 로그인 방식(POST) 설정

→ 로그인 매개 변수를 입력(처음에는 2가지를 입력 하라고 하지만 매개 변수가 많을 수록 크롤러가 블로그에 들어올 수 있는 방법이 많아 지며, 블로그를 빠르게 로그인 해서 게시글을 확인 할 수 있습니다.

 

여기까지 진행 후 시간이 조금 지나면 크롤러가 내 블로그에 로그인 하였다고 녹색 크롤링 표시를 할 것입니다.

 

크롤러의 녹색 표시 이후에 추가로 진행 해야 할 부분은 다시 구글 서치 콘솔에 접속 하셔서 어제 했던 "sitemap.xml"을 클릭 하고 "sitemap.xml"과 "RSS"를 입력 후 몇 시간 후에 구글 애드 센스에 접속 하시면 크롤러 문제가 해결 되었다고 문제 표시가 삭제 되어 있을 것입니다.

tenguy

 

tenguy

tenguy

 

해결 방법 따라 하기는 여기 까지 입니다.

 

추가로 크롤러 문제가 발생 했을 때 작성 했던 내용을 하기에 링크 시켰습니다.

(문제가 해결 되는 과정 중에 작성 했기 때문에 약간의 차이와 오해가 생길 수 있으니 참고만 하시기 바랍니다.^^;)

---

5. 추가 크롤링 문제 링크

(크롤러 문제 최초 확인 후 작성된 게시글)

https://tenguy.tistory.com/241

애드센스 광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생 할 수 있습니다.(+삭제된 포스

 

(크롤러 문제 때문에 우울해서 작성한 일기ㅋㅋㅋㅋㅋ)

https://tenguy.tistory.com/244

크롤러 오류가 해결 될 때까지 티스토리 작성은 쉬기로 결정.

 

(구글 서치 콘솔에서 URL 삭제 요청 방법)

https://tenguy.tistory.com/260

크롤링 문제 : 구글에 등록된 URL 완벽 삭제 방법[구글 서치 콘솔에서 삭제 요청]

 

(구글에 내 블로그 URL 재 크롤링 요청하기)

https://tenguy.tistory.com/261

Google 구글에 URL 재 크롤링 요청하기-그리고 기다리기(정리 완료)

 

따라하기 내용은 여기까지 입니다.

저와 같은 문제로 몇 일...아니 몇 주를 걱정 하고 계시는 블로거님들 힘내십시오. 문제는 해결 되게 되어있습니다.

 

크롤러 문제 때문에 ROBOT.txt를 만들지 않으셔도 되구요. 어려운 HTML을 수정 하지 않아도 되니 위에 방법대로 해 보시고 기다리시면 해결 될 것입니다.

 

 

구독자 백만 회원이 생길 때까지 화이팅입니다.^^

---

 

추가 내용으로, 문제를 해결하면서 "블로그 최적화" 및 "검색 엔진 최적화 블로그"에 대해서 조금 알게 되었습니다.

도움 되시라고 하기에 링크 걸어 놓겠습니다.

 

(검색 엔진에 블로그 최적화 하기, 콘텐츠 최적화 하기)

https://tenguy.tistory.com/263

검색 엔진에 사이트(블로그) 최적화 하기, 콘텐츠 최적화 하기

(구글, 네이버에서 자신의 블로그 게시글 확인하기)

https://tenguy.tistory.com/262

구글, 네이버에서 자신의 블로그 게시글(포스트) 확인 방법

(포스팅 내용 모바일 친화성 테스트 검사 방법)

https://tenguy.tistory.com/264

모바일 친화성 테스트 검사 방법

 

긴글 읽어 주셔서 감사합니다.

좋은밤 되세요~