구글 서치 콘솔의 Noindex 에러 해결을 위한 완벽 가이드

구글 서치 콘솔의 Noindex 에러! 당신이 알아야 할 모든 것

안녕하세요! 오늘은 구글 서치 콘솔에서 한 번쯤 보셨을 법한 'noindex detected' 에러에 대해 이야기해볼까 합니다. 이번 글에서는 이 문제의 원인과 해결 방법을 살펴보도록 하겠습니다. 나와 같은 웹사이트 운영자라면 다들 공감하실 테죠? 그럼 우선 문제의 상황부터 알아보겠습니다.

NOINDEX DETECTED! 무슨 뜻일까?

최근 한 사용자가 Reddit에서 “내 페이지에서 'noindex detected in X-Robots-Tag HTTP header'라는 에러가 발생했는데, 원인을 도무지 찾을 수 없다”고 이야기를 시작했습니다. 이런 상황이면 참 난감하겠죠? 사이트가 검색 엔진에 노출되지 않는 일이 생기는 거니까요.

위 사용자는 본인의 웹페이지에서 다음과 같은 상태를 발견했다고 합니다:

• HTML 소스에서 noindex 메타 요소가 없음
• robots.txt 파일에도 noindex 설정이 없음
• 응답 헤더에서도 noindex가 확인되지 않음
• GSC에서 Live Test는 인덱스 가능으로 나옴
• 사이트는 Cloudflare 뒤에 위치해 있음

문제 해결의 시작, Cloudflare를 확인해라!

한 사용자가 이미 이 문제의 원인을 Cloudflare의 설정 문제로 의심해볼 것을 제안했습니다. Cloudflare는 CDN이기도 하여 이렇게 간단하지 않은 문제를 야기할 수 있습니다. 이 사용자는 문제를 진단하기 위해 몇 가지 단계를 제시했는데, 그중 일부는 다음과 같습니다.

1. GSC에서 Live Test와 크롤링 된 페이지를 비교하여 Google이 구버전의 응답을 보는지 확인합니다.
2. Cloudflare의 Transform Rules, Response Headers 및 Workers를 점검해 봅니다.
3. curl 명령어를 사용하여 Googlebot의 사용자 에이전트를 테스트해봅니다.

설정이 복잡할 수 있지만, 이런 단계를 통해 문제를 빨리 해결할 수 있습니다.

실제 Googlebot으로 확인하기!

재미있는 점은, 사용자가 Googlebot으로 테스트할 수 있는 방법이 없었던 것처럼 느껴졌던 상황이지만, 구글의 Rich Results Tester를 활용하면 해결할 수 있다는 사실입니다. 이 도구는 Googlebot의 사용자 에이전트를 사용하므로 실제로 Google이 페이지를 어떻게 해석하는지를 확인할 수 있습니다.

401 UNAUTHORIZED 에러?

한 사용자는 또 다른 흥미로운 경험을 공유했습니다. 바로 401 에러 응답이 발생했는데, 이는 인증 자격 증명이 없거나 잘못될 때 발생하는 것입니다. 이를 해결하기 위해, 로그인 페이지 URL을 robots.txt에서 차단하여 문제를 해결했다고 합니다.

JOHN MUELLER의 조언

구글의 존 뮬러도 이 논의에서 통찰을 공유했습니다. 그는 CDN 같은 서비스가 문제를 일으킬 수 있으며, "오래된 URL이 문제의 원인일 수 있다"고 언급했습니다. 정말 흥미로운 포인트인데요, 이는 구글의 역사적 크롤링과 관련이 있을 수도 있다는 의미입니다.

결론 및 주요 팁

이 에러와 관련된 몇 가지 중요한 점을 정리해 보겠습니다.

1. Google Search Console에서 "noindex detected in X-Robots-Tag" 에러가 발생한다고 해서 무조건 noindex가 포함된 것은 아닙니다.
2. Cloudflare와 같은 CDN이 문제가 될 수 있습니다. 필요시 설정을 점검하세요.
3. Rich Results Tester를 활용하여 Google이 실제로 무엇을 보고 있는지 확인해 봅시다.
4. 401 Unauthorized 에러 발생 시, 로그인을 요구하는 페이지를 Robots.txt에서 차단하여 문제를 해결할 수 있습니다.
5. 폐쇄된 URL에서 발생한 문제일 수 있으니, 구글에 오래된 URL 또한 점검해보세요.

오늘은 검색 엔진 최적화(SEO)와 관련된 막연했던 'noindex' 문제에 대한 간단한 설명과 해결책을 살펴봤습니다. 여러분의 웹사이트가 검색 결과에 잘 노출될 수 있도록 이 정보를 잘 활용해 주세요!

앞으로도 SEO에 대한 유용한 정보를 전해 드리도록 하겠습니다. 질문이나 추가 정보가 필요하시다면 언제든지 댓글로 남겨주세요!