웹사이트를 운영하는 많은 분들이 “내 웹페이지들이 구글 검색에 잘 나오고 있을까?”, “혹시 뭔가 문제가 있어서 검색이 안 되는 건 아닐까?” 하는 걱정을 하실 거예요. 모든 노력이 검색 결과로 이어지지 않으면 아쉽고 답답한 마음이 들기 마련이죠. 다행히 구글은 웹사이트 소유자가 직접 자신의 인덱싱 상태를 진단할 수 있도록 유용한 도구를 제공하는데, 바로 **’구글 서치 콘솔(Google Search Console)’**입니다.
1. 진단의 시작: 구글 서치 콘솔 ‘색인 범위’ 보고서
내 웹사이트에 인덱싱 문제가 있는지 확인하는 가장 기본적인 첫 단계는 구글 서치 콘솔에 접속하여 ‘색인 범위’ 보고서를 살펴보는 것이에요. 이 보고서는 구글이 내 웹사이트의 페이지들을 얼마나 잘 인덱싱하고 있는지 한눈에 보여주는 데이터입니다.
이 보고서에는 ‘포함됨(Included)’ 페이지와 ‘제외됨(Excluded)’ 페이지 수가 그래프로 표시되는데요. ‘포함됨’은 구글 색인에 성공적으로 포함된 페이지를 의미하고, ‘제외됨’은 어떤 이유로든 구글 색인에 포함되지 않은 페이지를 나타냅니다. ‘제외됨’ 페이지 수가 갑자기 늘어나거나 많아 보인다면, 대부분의 마케팅 담당자들은 걱정을 시작할 수밖에 없는 상황이에요.
하지만 여기서 중요한 점이 있어요. 단순히 ‘제외됨’ 페이지가 많다고 해서 무조건 문제가 있는 것은 아니라는 사실입니다. 중요하지 않거나 검색될 필요가 없는 페이지들(예: 개인정보처리방침, 약관 페이지, 중복 콘텐츠 등)이 제외될 수도 있기 때문이죠. 정말 중요하고 가치 있는 페이지들이 색인에서 빠졌는지를 파악하는 일이 핵심입니다.
2. ‘가치 있는 페이지’가 문제인가요?
진정한 인덱싱 문제를 식별하려면, 내 웹사이트의 **’가치 있는 페이지’**들이 구글 색인에서 제외되고 있는지 집중적으로 확인해야 합니다. ‘가치 있는 페이지’는 단순히 웹사이트 트래픽이 높은 페이지를 넘어, 실제로 비즈니스에 트래픽과 수익/리드(잠재 고객)를 가져다주는 페이지를 의미해요.
이러한 가치 있는 페이지의 트래픽이나 전환이 분석 플랫폼(예: 구글 애널리틱스)에서 감소하고 있는지, 또는 타사 SEO 도구에서 내 웹사이트의 전체적인 시장 가시성과 검색 순위가 떨어지고 있는지 확인하는 과정이 필요해요. 만약 이런 지표들이 하락하고, 동시에 가치 있는 페이지들이 구글 색인에서 제외되고 있다면, 비로소 심각한 인덱싱 문제에 직면했을 가능성이 높다는 판단을 내릴 수 있습니다.
3. ‘제외됨’ 페이지의 주요 유형 분석
구글 서치 콘솔은 ‘제외됨’으로 분류된 페이지들을 여러 가지 세부 카테고리로 나누어 보여주므로, 문제의 ‘왜(Why)’를 이해하는 데 큰 도움이 됩니다. 그중에서 특히 주목하고 이해해야 할 주요 카테고리들은 다음과 같아요:
- ‘크롤링됨 – 현재 색인 생성 안 됨(Crawled – currently not indexed)’:
- 구글이 해당 페이지를 방문(크롤링)하기는 했지만, 색인에 포함하기에는 품질이 충분하지 않다고 판단한 상황을 의미해요. 즉, 구글 봇이 페이지 내용을 읽기는 했으나, 사용자에게 유익하거나 독창적인 가치를 제공한다고 보지 않은 것이죠.
- 주요 원인으로는 콘텐츠의 품질 부족, 내용의 빈약함(Thin Content), 다른 페이지와 중복되는 내용(Duplicate Content), 또는 사용자에게 가치를 주지 않는 단순한 정보 등이 있습니다. 특히 대량으로 생성되는 이커머스 상품 페이지나 자동 생성된 콘텐츠에서 이런 문제가 자주 발생한다는 경향이 있어요.
- ‘발견됨 – 현재 색인 생성 안 됨(Discovered – currently not indexed)’:
- 구글이 해당 페이지의 존재는 알았지만(예: 다른 페이지의 링크를 통해), 아직 크롤링(방문)하지 않았거나, 크롤링할 우선순위가 낮다고 판단한 상황을 의미해요.
- 주요 원인으로는 크롤링 예산(Crawl Budget)의 한계, 웹사이트의 기술적인 문제(예: 느린 로딩 속도, 서버 응답 오류), 내부 링크 구조의 문제(페이지가 다른 중요한 페이지에서 잘 연결되지 않음), 또는 전반적으로 웹사이트의 권위가 낮다고 판단될 경우 등이 있어요. 구글은 모든 페이지를 동시에 크롤링할 수 없으므로, 중요도가 낮다고 판단되면 우선순위에서 밀린다는 뜻이죠.
- ‘중복 콘텐츠(Duplicate content)’:
- 내 웹사이트 내에 동일하거나 매우 유사한 내용의 페이지가 여러 개 존재할 때 발생하는 문제입니다. 구글은 이런 중복 페이지 중 어떤 것을 검색 결과에 보여줘야 할지 혼란스러워하며, 결국 어떤 페이지도 제대로 색인하지 않거나, 하나의 페이지에만 집중하는 경향이 있어요.
- 카테고리 필터 페이지, 인쇄용 페이지, 또는 다른 웹사이트에서 복사한 콘텐츠 등이 주요 원인이 될 수 있습니다.
이러한 ‘제외됨’ 카테고리들을 면밀히 분석하는 것이 인덱싱 문제의 근본 원인을 파악하는 핵심입니다. 원인을 정확히 이해해야만 다음 단계인 ‘조치’로 나아갈 수 있는 준비가 됩니다.