서치콘솔 지피지기면 백전불패 – 서치콘솔 이해와 오해 5편

1. 서치콘솔의 페이지 보고서 내용 항목들

🔴 ‘NOINDEX’ 태그에 의해 제외되었습니다 (중요도: 🔥🔥🔥 최상)

• 이게 무슨 뜻인가요?운영자가 페이지에 “구글! 이 페이지는 절대 검색 결과에 보여주지 마!”라는 ‘noindex(색인 금지)’ 명령어를 직접 붙여둔 것입니다. 구글은 이 명령을 아주 충실히 따랐을 뿐입니다. 이미지에서 888개나 된다면, 이건 사이트 트래픽에 치명적인 재앙 수준일 수 있습니다.

• 왜 이런 일이 생기나요? (다양한 원인)
  1. 가장 흔한 실수 : 워드프레스 ‘설정 > 읽기’ 메뉴에서 ‘검색 엔진이 이 사이트를 색인하는 것을 막습니다’에 체크한 경우. ( 검색은 딴세상 스토리가 됩니다. )
  2. SEO 플러그인 설정 실수: 글 작성 시 Rank Math나 Yoast SEO 같은 플러그인의 ‘고급’ 탭에서 실수로 ‘noindex’를 클릭한 경우.
  3. ‘숨겨진’ 범인 (X-Robots-Tag): HTML <meta> 태그에는 없는데, 서버 설정(예: .htaccess 파일)이나 캐시 플러그인 등이 HTTP 헤더에 X-Robots-Tag: noindex를 몰래(?) 쏘는 경우가 있습니다. (이것 때문에 고생하는 경우가 많습니다. ‘URL 검사’ 도구로 실제 헤더를 확인해야 잡을 수 있습니다.)
• 📌 해결 전략:
  1. 당장 워드프레스 ‘설정 > 읽기’부터 확인하세요.
  2. 서치콘솔에서 ‘noindex’로 분류된 페이지 목록 중, 중요한 게시글 URL을 클릭해 ‘URL 검사’를 실행하세요.
  3. 검사 결과 ‘색인 생성 허용 여부’에 ‘noindex’ 태그가 감지되었다고 나올 겁니다. ‘페이지 가져오기’ 섹션에서 이게 meta 태그 때문인지, HTTP 헤더 때문인지 확인하세요.
  4. meta 태그 문제라면 해당 글의 SEO 플러그인 설정을, HTTP 헤더 문제라면 캐시 플러그인 설정이나 서버 설정을 점검해야 합니다.

🟠 robots.txt에 의해 차단됨 (중요도: 🔥🔥🔥 최상)

• 이게 무슨 뜻인가요?’noindex’가 “집(페이지) 안에는 들어와도 되는데, 손님(검색 결과)에게 소개는 하지 마”라는 뜻이라면, 이건 아예 “우리 집(사이트)의 이 구역(경로)은 출입 금지야!”라고 robots.txt라는 ‘경비실 규칙’에 써둔 것입니다. 구글봇이 페이지에 접근조차 못 했습니다.
• 왜 이런 일이 생기나요?robots.txt 파일에 Disallow: 지시어로 해당 페이지나 상위 디렉터리를 막아둔 경우입니다. (예: Disallow: /my-secret-post/)
• 📌 해결 전략:
  1. ‘URL 검사’ 도구로 해당 페이지를 검사해 보세요. ‘Googlebot이 robots.txt 파일에 의해 차단되었습니다’라고 나올 겁니다.
  2. 내도메인.com/robots.txt로 접속하거나, SEO 플러그인의 ‘파일 편집기’에서 robots.txt 파일 내용을 확인하세요.
  3. 중요한 게시글이나 카테고리가 ‘Disallow’ 되어 있다면 해당 줄을 즉시 삭제하거나 수정해야 합니다.

🟡 찾을 수 없음(404) (중요도: 🔥🔥 중간)

• 이게 무슨 뜻인가요?구글이 링크를 타고 페이지에 방문했는데, “죄송합니다. 요청하신 페이지를 찾을 수 없습니다.”라는 404 응답을 받은 것입니다. 한마디로 ‘깨진 링크’입니다.
• 왜 이런 일이 생기나요?
  1. 운영자가 글을 삭제했습니다.
  2. 운영자가 글의 URL 주소(slug)를 바꿨는데, 이전 주소로의 ‘리디렉션’을 설정하지 않았습니다.
  3. 사이트 내부나 외부 다른 사이트에서 URL을 오타로 잘못 링크했습니다.
• 📌 해결 전략:
  1. 서치콘솔에서 404 오류 URL을 클릭한 뒤, ‘연결되는 페이지’ 탭을 확인하세요. 이게 핵심입니다.
  2. 만약 ‘연결되는 페이지’가 내 사이트 내부라면, 당장 그 내부 링크를 찾아가서 올바른 주소로 고쳐야 합니다. (SEO에 매우 안 좋습니다.)
  3. 외부 사이트에서 잘못 링크한 거라면 어쩔 수 없지만, 만약 의도적으로 삭제/변경한 주소라면 ‘Redirection’ 같은 플러그인을 사용해 새 주소로 ‘301 리디렉션’을 걸어주는 것이 가장 좋습니다.

🟡 Soft 404 (중요도: 🔥🔥 중간)

• 이게 무슨 뜻인가요?구글이 보기엔 ‘사실상 404’라는 뜻입니다. 페이지 자체는 정상적으로 열리지만(서버 응답 200), 막상 들어가 보니 내용이 거의 없거나 “검색 결과가 없습니다”, “글이 없습니다”라는 메시지만 덩그러니 있는 경우입니다.
• 왜 이런 일이 생기나요?내용이 하나도 없는 태그 페이지, 빈 카테고리 페이지, 아무런 결과도 없는 검색 결과 페이지 등이 여기에 해당합니다.
• 📌 해결 전략:사용자에게도, 구글에게도 ‘빈 페이지’는 나쁜 경험을 줍니다.
  1. 해당 페이지에 유의미한 콘텐츠를 채워 넣거나,
  2. 정말 필요 없는 페이지라면 ‘noindex’ 태그를 달아서 구글의 주의를 끄지 않도록 하거나,
  3. 아예 삭제하고 404 응답을 반환하도록 하는 것이 좋습니다.

🟡 액세스 금지(403)로 인해 차단됨 (중요도: 🔥🔥 중간)

• 이게 무슨 뜻인가요?구글봇이 페이지에 접근하려 했으나, 서버에서 “당신은 접근 권한이 없습니다!”라고 403 응답을 보낸 것입니다. 문전박대당한 겁니다.
• 왜 이런 일이 생기나요?
  1. 보안 플러그인(예: Wordfence)이 구글봇의 접근을 악의적인 봇으로 오인하여 차단한 경우.
  2. 호스팅 서버의 방화벽(WAF) 설정이 구글봇을 차단한 경우.
  3. 특정 IP 대역을 차단했는데 구글봇이 여기에 포함된 경우.
• 📌 해결 전략:이건 기술적인 문제입니다. 보안 플러그인의 차단 로그를 확인하거나, 호스팅 업체에 “구글봇이 403 오류로 차단되는 것 같다”고 문의하여 방화벽 설정을 확인해 달라고 요청해야 합니다.

🟢 적절한 표준 태그가 포함된 대체 페이지 (중요도: ‘정보’)

• 이게 무슨 뜻인가요?“이건 오류가 아닙니다. 아주 잘하고 계십니다.”라는 뜻입니다.

  내용이 비슷한 여러 페이지(예: PC/모바일 페이지) 중에서, 운영자가 ‘표준 태그(canonical)’를 이용해 “이게 원본입니다”라고 구글에게 정확히 알려준 것입니다. 구글이 그 ‘원본’만 색인하고, ‘대체 페이지(사본)’는 제외한 것입니다.

• 📌 참고:이 항목의 숫자가 많다고 걱정할 필요 전혀 없습니다. 오히려 중복 문서 관리가 잘 되고 있다는 증거입니다.

🟢 리디렉션이 포함된 페이지 (중요도: ‘정보’)

• 이게 무슨 뜻인가요?이것도 오류가 아닙니다. 운영자가 ‘A’라는 글 주소를 ‘B’로 변경하면서 리디렉션(주소 자동 변경)을 설정했고, 구글이 ‘A’ 페이지는 제외하고 ‘B’ 페이지만 색인하겠다는 정상적인 처리입니다.
• 📌 참고:리디렉션을 잘 설정했다는 뜻이니 안심하셔도 됩니다.

🟡 사용자가 선택한 표준이 없는 중복 페이지 (중요도: 🔥🔥 중간)

• 이게 무슨 뜻인가요?”내용이 똑같은 페이지가 2개 이상 있는데, 당신이 어떤 게 원본인지 안 알려줘서 색인 안 했습니다”라는 뜻입니다.
• 왜 이런 일이 생기나요?http://와 https://가 모두 접근되거나, www 버전과 non-www 버전이 모두 열리는데 표준 태그(canonical) 설정이 안 된 경우, 또는 실수로 글을 복제해서 똑같이 발행한 경우입니다.
• 📌 해결 전략:구글은 중복 문서를 매우 싫어합니다. 사이트 전체의 SEO에 악영향을 줍니다.
  1. SEO 플러그인이 ‘표준 태그’를 자동으로 잘 생성하고 있는지 확인하세요.
  2. 중복된 글은 하나를 삭제하거나, ‘noindex’ 처리하거나, 표준 태그를 이용해 원본을 명확히 지정해줘야 합니다.

2. ‘Google 시스템’ 문제 (구글의 판단, 우리의 꾸준함이 필요한 항목)

이 항목들은 기술적인 ‘오류’라기보다는, 구글의 ‘품질 판단’과 관련된 영역입니다.

🔵 크롤링됨 – 현재 색인이 생성되지 않음 (중요도: 🔥🔥 중간)

• 이게 무슨 뜻인가요?가장 답답하고 가장 많이 보게 되는 항목입니다. 구글봇이 우리 페이지를 읽어가기까지 했습니다(크롤링됨). 하지만 구글이 판단하기에 “음… 이 페이지는 굳이 우리 검색 결과에 포함시킬 만큼의 가치나 품질은 아닌 것 같아”라고 판단하고 **보류(현재 색인이 생성되지 않음)**한 상태입니다.
• 왜 이런 일이 생기나요?
  1. 콘텐츠 품질 : 글의 내용이 너무 짧거나, 다른 글을 베낀 듯 독창성이 없거나, 검색 의도를 충족시키지 못한다고 판단된 경우.
  2. 사이트 권한(신뢰도) : 사이트가 너무 신규이거나, 다른 좋은 사이트로부터 링크를 받지 못해 신뢰도가 낮은 경우.
  3. 크롤링 예산 : 구글이 “일단 읽어는 갔는데, 나중에 다시 처리할게”라며 뒤로 미뤄둔 경우 (서버 속도가 느려도 발생).
• 📌 해결 전략:기술적인 해결책은 없습니다. 오직 ‘품질’만이 답입니다.
  1. 콘텐츠 개선 : 해당 페이지의 내용을 더 풍부하게 만드세요. 더 깊이 있는 정보, 독창적인 분석, 실제 경험을 담아내세요.
  2. 내부 링크 : 내 사이트의 다른 인기 있는 글에서 이 페이지로 ‘내부 링크’를 걸어주어 구글에게 “이 페이지 중요해요!”라고 알려주세요.
  3. 인내심 : 콘텐츠를 보강한 뒤, ‘색인 생성 재요청’을 하고 기다리세요.

🔵 중복 페이지, Google에서 사용자와 다른 표준을 선택함 (중요도: 🔥 낮음)

• 이게 무슨 뜻인가요?운영자는 ‘A’가 원본이라고 표준 태그를 설정했는데, 구글이 보기에 “아무리 봐도 ‘B’가 더 원본 같네. 내(구글)가 판단해서 ‘B’를 표준으로 정했어”라고 운영자의 의견을 무시(?)한 것입니다.
• 왜 이런 일이 생기나요?운영자가 지정한 ‘A’보다 구글이 선택한 ‘B’ 페이지로 연결되는 내부/외부 링크가 압도적으로 많거나, ‘B’가 사이트맵에서 더 중요하다고 표시되는 등 구글의 다른 신호들이 ‘B’를 가리킬 때 발생합니다.
• 📌 해결 전략:구글이 왜 그렇게 판단했는지 검토해볼 필요가 있습니다.
  1. 정말 구글의 판단이 맞다면, 운영자가 표준 태그 설정을 구글의 결정에 맞게 수정하는 것이 좋습니다.
  2. 운영자의 주장이 맞다면, ‘A’ 페이지로 연결되는 내부 링크를 더 많이 만들어 ‘A’가 원본임을 구글에게 더 강력하게 어필해야 합니다.

📌 서치콘솔 5편 구글이 알려주는 내 웹사이트의 문제점을 정확히 진단하고 수정하면 색인이 수월해진다

서치콘솔 보고서는 복잡해 보이지만, 결국 우리에게 두 가지를 요구합니다.

1. ‘웹사이트’ 문제 (기술적): ‘NOINDEX’, ‘robots.txt 차단’, ‘404’ 등 기술적인 장벽을 즉시 제거하세요. 문을 열고 경비실 규칙을 고쳐야 구글봇이 들어올 수 있습니다.
2. ‘Google 시스템’ 문제 (품질): ‘크롤링됨 – 현재 색인 생성 안 됨’은 콘텐츠 품질을 높이라는 구글의 신호입니다. 더 좋은 글, 더 독창적인 글로 승부하세요.

이 ‘해야 할 일 목록’을 하나씩 처리하다 보면, 분명 여러분의 사이트는 구글이 사랑하는 건강한 사이트로 거듭날 것입니다.

상품리뷰 보러가볼까  REVIEWS DIGEST