Webページが検索エンジンのインデックスに登録されていない状態を示す「クロール済み – インデックス未登録」。
ネット上のWebページを自動的に巡回して情報収集するロボット「クローラー」がページを見つけて解析したにもかかわらず、そのページが検索結果に表示されていない状態をいいます。
「クロール済み – インデックス未登録」をそのまま放置すると、さまざまなリスクをともなうことになるので注意が必要です。
本記事では、「クロール済み – インデックス未登録」とは何なのか、その原因と対処法について分かりやすく解説します。
「クロール済み – インデックス未登録」とは？
※ページ インデックス登録レポート（https://support.google.com/webmasters/answer/7440203?hl=ja）
「クロール済み – インデックス未登録」とは、Googlebot（GoogleのWebクローラー）がページをクロールしたにもかかわらず、検索結果に表示されない状態のことです。この状態のページは、検索エンジンにインデックスされていない＝検索エンジンの出力用のデータベースに追加されていないということになります。
よって、関連ワードを入れて検索したとしても、該当ページは検索結果に表示されません。逆に、検索結果に表示されるページは、Googlebotのクロールからインデックスされた状態となります。
なお、「クロール済み – インデックス未登録」 は、Google Search Consoleで確認可能です。確認方法の手順は、下記を参考にしてください。
- Google Search Consoleを開く
- 左のメニューから「ページ」をクリックする
- 「クロール済み – インデックス未登録」を開き、対象記事を確認する
「クロール済み – インデックス未登録」の一般的な原因
「クロール済み – インデックス未登録」の一般的な原因としては、以下の2つが挙げられます。
- 低品質コンテンツ
- 技術的な問題
低品質コンテンツ
最も多いパターンがコンテンツの品質不足です。必要な情報が書かれていない、他のWebサイトと重複しているなどで「クロール済み – インデックス未登録」 になることがあります。
Googlebotがクロールしたものの、検索エンジンの検索結果として表示するに値しないと判断するからです。インデックスに登録されるページは、ユーザーにとって有用かつ高品質なコンテンツである必要があります。
Googlebotがインデックスする価値がないと判断すれば、「クロール済み – インデックス未登録」になるというわけです。
なお、「クロール済み – インデックス未登録」となるページには、以下のような特徴があります。
- コンテンツが薄く、ユーザーに有益な情報を提供していない
- コピーコンテンツや無意味なテキストが多い
- 検索エンジンのガイドラインに違反している
技術的な問題
多くはありませんが、サーバーの応答時間が遅かったり、404エラーが頻発したりするなど、技術的な問題が原因でインデックスに登録されないこともあります。
技術的な問題が発生する原因として考えられるのは、アクセス過多などでサーバーが不安定になるパターンです。また、サーバーの設定やサイト構造自体に問題が起きている可能性もあります。それぞれ正しく設定されているか、問題が起きていないかを確認することが重要です。
「クロール済み – インデックス未登録」の影響
前述したように、「クロール済み – インデックス未登録」を放置するとさまざまな影響をおよぼす恐れがあります。おもに注意しておきたいのは、SEOとユーザーエクスペリエンスへの影響です。
SEOへの影響
「クロール済み – インデックス未登録」は検索結果に表示されない状態ですので、オーガニックトラフィックが減少します。
オーガニックトラフィックとは、Webサイトに訪れるユーザーが有料広告などを利用せずに、検索エンジンの検索結果やソーシャルメディア、その他のオンラインプラットフォームから直接訪れるトラフィックのことです。
有料広告を使用せずとも持続的なWebトラフィックが獲得できるため、SEO戦略の一部として重要視されています。
オーガニックトラフィックが減少すると、サイト全体のアクセス数に直接的な影響を与えるため、そのサイト自体の評価が下がってしまう可能性もあります。
サイト自体の評価が著しく低下すれば、ビジネスの露出や収益に直結し、新規顧客やブランド認知の向上が阻害される可能性があるのです。
ユーザーエクスペリエンスへの影響
ユーザーが検索結果から必要な情報を見つけられなくなるため、ユーザーエクスペリエンスへの影響も懸念されます。
ユーザーが検索エンジンで関連ワードを検索したとしても、「クロール済み – インデックス未登録」になっているサイトは検索結果に表示されません。
どれだけ重要な情報だとしても、「クロール済み – インデックス未登録」のサイトはユーザーに届かず、結果的にユーザーの信頼を失ってしまう可能性があります。
一刻も早く「クロール済み – インデックス未登録」を解決し、ユーザーにとって信頼できる満足度の高いサイトにする必要があります。
ユーザーエクスペリエンスの高いサイトは、検索エンジンのランキング向上やリピーターの増加、ブランドのイメージアップなど、さまざまなメリットが期待できるでしょう。
「クロール済み – インデックス未登録」の解決方法
「クロール済み – インデックス未登録」の解決方法としては、以下の3つがあります。
- コンテンツの質を向上させる
- コンテンツの重複対応
- 技術的な問題の対応
コンテンツの質を向上させる
コンテンツの品質を改善させることで、「クロール済み – インデックス未登録」が解決します。コンテンツの質を向上させる方法はさまざまですが、具体的には「独自性」と「有益で深い情報」を提供することです。
競合サイトと同じような内容にすれば良いというわけではありません。独自性かつユーザーの検索意図に応える有益で深い情報を提供できているかどうかが、大切なポイントです。
また、定期的にコンテンツの更新と改善を行なうことも重要です。検索エンジンは常に新しいコンテンツを好むため、定期的に更新されるコンテンツほど検索エンジンのランキング向上が期待できます。
SEO対策としても、古い情報やリソースを更新し、新しい情報を追加することでユーザー満足度の高いサイトを目指しましょう。
コンテンツの重複対応
「クロール済み – インデックス未登録」を解消するには、重複コンテンツを避ける必要があります。重複コンテンツとは、同じまたは類似したコンテンツが複数の場所で表示されることです。
たとえば、www.の正規化が必要なURL、「/」の有無などがあります。特に、URLが正規化されていないとGooglebotがWebページとして認識せず、検索順位における評価も分散してしまいます。
コンテンツが重複しないように、正規化タグを使用し、重複ページを削除しましょう。同じ文章やページが複数のURLで表示されないように気をつける必要があります。
検索エンジンがどのページをインデックスすべきかを判断しやすいサイトほど、サイト全体のランキング向上につながるでしょう。他の競合サイトにはないオリジナルコンテンツを生成することが、非常に重要な要素となります。
技術的な修正
技術的な問題が原因の場合は、サーバーの応答速度を改善すると良いでしょう。サーバーに問題があると、404や503などのエラーとして表示されます。
たとえば不要なページを削除すると404エラーとして表示されますが、ユーザーにとって必要かつ重要なページがエラー表示されるのは大きな問題です。サーバーの応答速度に問題はないか、チェックしたほうがよいでしょう。
また、PHPなどに不具合があったり、アクセス過多でサーバーがリクエストを処理できなくなると503エラーがでることもあります。こういった事象はサイト全体で起きている可能性もあるため、一つでも見つけたらなるべく早く確認してください。
まとめ
「クロール済み – インデックス未登録」とは、GoogleのクローラーがWebページをクロールしたにもかかわらず、検索結果に表示されない状態のことです。この問題を解決するためには、コンテンツの質の向上や重複コンテンツへの対応、技術的な問題の修正が必要になります。ユーザー満足度の高い、高品質なサイトを提供するためにも「クロール済み – インデックス未登録」の原因を明らかにし、早期解決を目指しましょう。
