태그는 그저 도울뿐 주인공은 글이다. 서치콘솔 이해와 오해 4편

4편입니다.

1편과 2편에서 사이트맵에 관한 내용, 그리고 3편에서 robots.txt 의 중요성을 말씀드렸습니다.

이번에는 태그를 서치콘솔이 읽으면 안되는 이유와 대처방법을 살펴볼까 합니다.

저는 오랫동안 이 ‘색인된 태그 페이지’ 문제로 인해  거의 5개월 가까이 구글로부터 외면받는 고통을 겪었습니다.

여러분은 이런 실수 없으시길 바라며 시작합니다.

태그 만능주의에 빠지지 말자

문제를 해결하기 전에, 우리가 태그를 어떻게 사용해왔는지 돌아볼 필요가 있습니다.

본래 ‘태그’의 목적은 사이트 방문자가 연관 글을 쉽게 찾도록 돕는 ‘내부 네비게이션’ 기능입니다.

예를 들어 ‘부산 맛집’ 태그를 누르면, 독자가 ‘부산 맛집’과 관련된 다른 글들을 모아볼 수 있게 하는 것이죠.

하지만 많은 운영자들(저를 포함해서)이 이 태그를 ‘구글을 위한 키워드’로 오해했습니다.

글 하나를 발행하며 ‘부산맛집’, ‘해운대맛집’, ‘광안리맛집’, ‘부산여행’ 등 20~30개의 태그를 달죠. 이것이 구글 검색에 더 잘 노출될 거라 믿으면서 말이죠.

여기서 치명적인 문제가 발생합니다. 워드프레스와 같은 대부분의 CMS(콘텐츠 관리 시스템)는 우리가 ‘태그’를 만들 때마다, 그 태그에 해당하는 글들을 모아놓은 ‘새로운 페이지’를 자동으로 생성합니다.

예시:

• 글 100개 발행
• 글 1개당 태그 20개 사용 (서로 겹치지 않는다고 가정)
• 결과: 나도 모르는 사이에 **’2,000개의 태그 아카이브 페이지’**가 생성됨

이 2,000개의 페이지가 바로 구글 서치콘솔을 가득 채운 ‘오류’와 ‘제외됨’의 실체입니다.

‘색인된 태그 페이지’가 사이트를 망가뜨리는 4가지 이유

인스타그램, 네이버나 티스토리 등 우리는 핵심키워드의 형태로 해시태그를 주로 사용해왔습니다.

이런 유형을 이용하는 사람들은 상위에 노출되기 위해 여러가지 많은 방법들을 동원해 각자 자기방식대로 해시태그를 넣습니다. ( 맨 앞에다 / 두어번 / 반복해서/ 작성자마다 고유의 방식으로  훈장처럼 덕지덕지 …기타등등 )

하지만 구글의 워드프레스 문서에서 태그는 그 특징이 다릅니다. 따라서 이를 사이트맵에 포함시키는 것은 커다란 오류입니다.

이유를 설명하겠습니다.

이유 1: 구글의 ‘크롤 예산’ 낭비 (Crawl Budget Waste)

구글봇(Googlebot)은 무한한 자원을 가지고 있지 않습니다. 각 사이트를 방문할 때 사용할 수 있는 ‘크롤 예산(Crawl Budget)’이 한정되어 있습니다.

‘가치 있는 글’ 100개와 ‘가치 없는 태그 페이지’ 2,000개가 있는 사이트를 상상해 보십시오.

구글봇이 방문했을 때, 우리의 소중한 새 글 1개를 발견하기 전에, 의미 없는 태그 페이지 수백 개를 먼저 크롤링하다가 지쳐서 떠나버릴 수 있습니다.

결과적으로, 정작 색인되어야 할 중요한 글은 “크롤링됨 – 현재 색인이 생성되지 않음” 또는 “발견됨 – 현재 색인이 생성되지 않음” 상태로 영원히 방치됩니다.

이유 2: ‘빈약한 콘텐츠’의 양산 (Thin Content)

구글은 ‘독자에게 고유한 가치를 제공하지 못하는 페이지’를 ‘빈약한 콘텐츠(Thin Content)’로 규정하고 매우 싫어합니다.

태그 페이지는 본질적으로 ‘글의 제목과 요약문 목록’일 뿐, 그 자체로 어떤 새로운 정보나 가치를 담고 있지 않습니다. 구글의 관점에서 볼 때, 우리 사이트는 100개의 좋은 글과 2,000개의 ‘쓰레기 페이지’로 구성된 것입니다.

사이트 전체의 95% 이상이 ‘빈약한 콘텐츠’로 채워져 있다면, 구글이 과연 이 사이트 전체를 ‘고품질 사이트’로 평가할까요? 절대 그렇지 않습니다.

이유 3: ‘키워드 잠식’ 현상 (Keyword Cannibalization)

이것이 가장 치명적입니다.

제가 ‘부산 여행 완벽 가이드’라는 3,000자짜리 고품질 글을 발행했다고 가정해 봅시다. 동시에 ‘부산 여행’이라는 ‘태그’도 생성했습니다.

이제 구글 검색창에 누군가 ‘부산 여행’을 검색하면, 구글은 혼란에 빠집니다.

“이 사이트에서 ‘부산 여행’에 대해 어떤 페이지를 보여줘야 하지? 3,000자짜리 ‘글’을 보여줄까? 아니면 ‘부산 여행’ 관련 글을 모아놓은 ‘태그 페이지’를 보여줄까?”

결국 구글은 둘 중 하나를 선택하거나, 혹은 둘 다 가치가 없다고 판단하여 검색 결과에서 아예 누락시켜 버립니다.

나의 ‘태그 페이지’가 나의 ‘진짜 글’과 싸우는, ‘콘텐츠 잠식’이 일어나는 것입니다.

이유 4: 사이트 전체 품질 및 신뢰도 저하

위의 1, 2, 3번 문제가 합쳐진 결과입니다. 구글 알고리즘은 이 사이트를 “기술적으로 엉망이며, 빈약한 콘텐츠가 대부분이고, 심지어 자기복제까지 하는” 저품질 사이트로 인식하게 됩니다.

내 사이트 진단하기

아래의 방법으로 지금 당장 본인의 사이트를 진단해 보십시오.

구글 검색창 활용

구글 검색창에 site:내도메인.com을 검색합니다. 결과의 ‘페이지 수’가 내가 발행한 글 수보다 비정상적으로 많다면 99% 이 문제입니다.

특정 검색어 활용

site:내도메인.com inurl:tag 또는 site:내도메인.com inurl:category (카테고리도 동일한 문제를 일으킴)를 검색합니다.

만약 검색 결과가 나온다면, 즉시 조치가 필요합니다.

서치콘솔 ‘페이지’ 보고서

‘색인 생성’ > ‘페이지’ 보고서에서 ‘색인이 생성된 페이지’ 목록을 확인하십시오. 그곳에 /tag/나 /category/ URL이 보인다면 문제가 심각한 것입니다.

태그 관련 대청소로 당장 사이트 체질을 개선하자

오랜 시간 고민끝에 찾은, 그리고 모든 SEO 전문가가 동의하는 유일한 해결책은 ‘noindex’입니다.

1단계: 태그 페이지에 ‘noindex’ 적용하기

‘noindex’는 구글에게 보내는 정중하지만 강력한 명령입니다.

“이 페이지를 크롤링(수집)하는 것은 허락하지만, 절대로 검색 결과에는 노출시키지 말라.”

• 워드프레스(Rank Math, Yoast SEO 등) 기준:
  1. SEO 플러그인 설정으로 들어갑니다.
  2. ‘Titles & Meta’ 또는 ‘검색 노출’ 메뉴로 갑니다.
  3. ‘Taxonomies’ (분류) > ‘Tags’ (태그)로 이동합니다.
  4. ‘Show Tags in Search Results’ (검색 결과에 태그 표시) 또는 ‘SEO 설정‘을 ‘비활성화’ (OFF 또는 noindex)로 변경합니다.
  5. (중요) ‘카테고리(Categories)’ 역시 동일하게 ‘noindex’ 처리하는 것을 강력히 권장합니다.

경고: 절대 robots.txt로 막지 마십시오

robots.txt에 Disallow: /tag/를 추가하는 것은 최악의 실수입니다. 이렇게 하면 구글봇이 페이지 접근 자체를 못하게 되어, 우리가 설정한 ‘noindex’ 명령조차 읽지 못합니다. 그 결과, 구글은 “페이지는 찾았지만 로봇에 의해 차단됨” 오류를 띄우며, 이미 색인된 태그 페이지를 절대 삭제해주지 않습니다.

2단계: 사이트맵(Sitemap)에서 태그 제외하기

사이트맵은 “구글님, 이 페이지들이 우리 사이트의 ‘핵심 자산’이니 꼭 수집해 가세요”라고 알리는 ‘초대장’입니다.

우리는 방금 태그 페이지를 ‘검색 결과에 노출시키지 말라’고 설정했습니다. 그런 페이지를 초대장에 포함하는 것은 모순입니다.

• 워드프레스 기준: 1단계의 ‘noindex’ 설정을 하면, 대부분의 SEO 플러그인은 알아서 ‘태그 페이지’를 sitemap.xml에서 자동으로 제외합니다. ‘Include in Sitemap’ 옵션이 있다면 반드시 ‘OFF’로 설정하십시오.

3단계: 구글의 재평가 기다리기

‘대청소’는 끝났습니다. 이제 구글이 다시 방문하여 “아, 이 사이트가 드디어 ‘쓰레기’ 페이지들을 정리하고 ‘noindex’ 명령을 내렸구나”라고 인지할 때까지 기다려야 합니다.

구글이 이미 색인했던 태그 페이지들이 서서히 사라지고, ‘크롤 예산’이 우리의 ‘진짜 글’에 집중되기 시작할 것입니다.

이 과정은 며칠에서 몇 달이 걸릴 수 있지만,  결국 막혔던 혈관이 뚫리는 유일한 길입니다.

글을 정리하며 –  ‘글’이 주인공, ‘태그’는 조연입니다

‘태그 서치 문제’의 핵심은 간단합니다.

우리는 ‘글’이라는 주인공을 돋보이게 해야 하는데, ‘태그’라는 수천 명의 조연을 무대(구글 검색 결과) 위로 올려보내 혼란을 자초했습니다.

태그는 철저히 독자의 편의를 위한 ‘내부 이정표’로만 사용되어야 합니다.

우리가 구글에 보여줘야 할 것은 오직 독자에게 가치를 주는 ‘글’ 본문뿐입니다.

구글의 한정된 예산을 아껴, 우리의 소중한 ‘글’에만 집중시키는 것. 그것이 오늘의 핵심입니다.

역설적이게 들릴지도 모르지만 태그를 서치콘솔에서 제거하셔서 사이트를 건강하게 만드세요

상품리뷰 보러가볼까  REVIEWS DIGEST