サーチコンソールを利用していると、Googleから「ページのインデックス登録の問題が検出されました」(旧インデックス カバレッジの問題が新たに検出されました)というメールが届いたことはありませんか。
※2022年6月にサーチコンソールのアイテム分類等の更新にあわせてUIも更新され、名称が変わっています。
これはGoogleが何らかの原因でサイト内のページをインデックスすることができなかったことを伝えるメッセージです。
この問題の解決に使用する「ページがインデックスに登録されなかった理由」(旧カバレッジレポート」は、エラー警告があった場合だけでなく、普段からインデックス状況を確認するために利用できる、非常に有用なレポートです。
この記事ではインデックスカバレッジ「ページがインデックスに登録されなかった理由」(旧カバレッジレポート」レポートの見方と、エラーメッセージごとの対処法を解説します。
なお、サーチコンソールに登録されていないのであればあらかじめ登録しておきましょう。
エラーが出た際にはメールやツール内で通知されるようになります。
初心者でも簡単!サーチコンソールの登録・設定方法と使い方を徹底解説
「ページがインデックスに登録されなかった理由」とは?
Googleはクローラーが発見したウェブページをクロール・インデックスし、検索結果に表示させています。ページの情報をGoogleのデータベースに格納することをインデックスと呼びますが、サイト内のどれだけのページがインデックスされたかを一覧できるのが「ページがインデックスに登録されなかった理由」です。
「ページがインデックスに登録されなかった理由」(旧カバレッジレポート」はサーチコンソール内の機能の1つで、ツール内左メニューのページ(旧カバレッジ)から確認できます。
「ページがインデックスに登録されなかった理由」(旧カバレッジレポート」のエラーは、Googleがそのページを正しくインデックスできていないことを意味しており、エラーを解消しない限り、当該ページはGoogleにインデックスされず、検索結果に表示されることもありません。SEO的には、インデックスされていないページは、ページ自体が存在していないのと同義ともいえるでしょう。
そのため、インデックスカバレッジのエラーには、早急な対策が推奨されます。エラーが検出されると、次の方法で通知されます。
- Googleから「ページがインデックスに登録されなかった理由」(「旧インデックス カバレッジ』の問題が新たに検出されました」のメールが届く
- サーチコンソール上のメッセージ一覧にエラーメッセージが表示される
サーチコンソールを見ていなかったとしても、メールさえ見逃さなければエラーメールに気づくはずです。
また、「ページがインデックスに登録されなかった理由」(旧カバレッジレポート」はサイトの規模が大きくなるほど重要度が増すため、エラーメッセージがなくとも定期的にチェックしておきたいレポートの1つです。
以下、カバレッジレポートの確認方法を紹介します。
「ページがインデックスに登録されなかった理由」の意味と対処法
「ページがインデックスに登録されなかった理由」(旧カバレッジレポート」内に表示されるステータスは次の4種類です。
- エラー
- 有効
- 有効(警告あり)
- 除外
特に「エラー」と「除外」の件数に着目しましょう。「エラー」が1件以上ある場合、Webサイトに問題が発生している可能性があります。「除外」についても、意図せずページがインデックス対象外になっているケースや、膨大な除外ページ数がクローラーの回遊性を妨げているケースがあるので、注意が必要です。
「有効」についても、一見すれば対処不要だと思うかもしれませんが、理想的には対処したほうがいい場合がほとんどです。
それぞれの項目について解説します。
エラー
当該ページ(URL)はインデックスに登録されていません。検出メッセージをクリックすると詳細画面が表示され、対象のURLを確認することができます。
具体的な検出メッセージと対処法を解説します。
送信された URL に noindex タグが追加されています
このエラーをはじめ、「送信されたURLが(に)……」の各エラーは、当該URLをGoogleにインデックスしてほしいURLとしてサイトマップ(sitemap.xml)にて送信しているにもかかわらず、何らかの理由でインデックスできなかったことを示しています。
元はといえばサイトマップが適切に作成されていないことが原因であることがほとんどですので、サイトマップを作成する場合には、インデックスさせたいURL(正規URL)のみを記載するようにしましょう。
このエラーでは、noindexタグ(インデックスされたくない旨の意思表示)を付けているURLが、XMLサイトマップ(sitemap.xml)に含まれている矛盾が原因です。
エラー項目をクリックすると具体的なURLリストが表示されますので、1つ1つ確認しましょう。
意図してnoindexタグを記述しているページの場合はサイトマップ(sitemap.xml)から当該URLを削除し、インデックスさせたいURLであればnoindexを削除します。
詳しくは以下の記事も参照ください。
「送信されたURLにnoindexタグが追加されています」のエラー原因と改善方法
https://www.sakurasaku-marketing.co.jp/labo/blogs/submitted-url-marked-noindex
送信された URL が robots.txt によってブロックされました
このエラーの場合は、URLがrobots.txtに含まれていることが原因です。
robots.txtとはクロールをブロックするページやディレクトリを指定するためのファイルです。
robots.txtの内容が意図したものになっているかどうかを確認し、サイトマップもしくはrobots.txtを修正して矛盾を解消しましょう。
送信された URL が見つかりませんでした(404)
当該URLが404エラー(404 not found)だった際に表示されます。
404であることが問題ないかを確認のうえ、問題なければ、サイトマップから当該URLを削除しましょう。
送信された URL はソフト 404 エラーのようです
サイトマップによって送信されたURLであるにもかかわらず、対象ページが404ページだと考えられる場合に表示されるエラーです。
ソフト404とは、ステータスコードが200を返している(正常)にもかかわらず、404エラーページのような見た目であるとGoogleから判断されたページのことです。コンテンツがないと判断されていますので、このようなページはインデックスされていません。
対応としては、コンテンツが存在しないのであればステータスコードを404に変更しましょう。一方、インデックスさせるつもりでページを作成したにもかかわらずこのエラーが出ている場合は、ページオリジナルの情報が足りていない可能性があります。「除外」の項目でも説明しますが、コンテンツの追加やオリジナリティを向上させることでインデックスさせる必要があります。
サーバーエラー(5xx)
サーバー側に問題があると考えられ、ページが閲覧できない状態になっている可能性があります。例えばエラーコードが「503(Service Unavailable)」の場合は、サーバーがサービス利用不可の状態であることを意味します。
ブラウザでアクセスするか、サーバーのログを確認してみましょう。Webサイトにアクセスが集中してサーバーがリクエストを処理しきれない、もしくはサーバーメンテナンス中であることが原因のケースが多いです。現在進行形で問題が継続している場合は5xxが出てしまう原因を取り除くようにしましょう。
心当たりがなく、ブラウザで開いても200(正常)である場合はひとまず様子を見てよいかと思います。
リダイレクトエラー
このエラーはリダイレクトの回数が多すぎることにより発生する可能性があります。Googleのクローラーは5回以上のリダイレクトの繰り返しを追わないと言われています。このような繰り返しはリダイレクトチェーンと呼ばれ、サイト運営上好ましいものではありません。また、より悪いケースでは、最終的な行き先が決まらずにループしてしまっているリダイレクトループも起こりえます。
SSL化(httpからhttpsへの変更)やサイト移転などに際して行ったリダイレクト設定が間違っていないかどうかを確認し、複数回のリダイレクトはできれば1回にまとめるようにしましょう。
参考:「リダイレクトが繰り返し行われました。」のエラーとは?リダイレクトループの原因と対処法
https://www.sakurasaku-marketing.co.jp/labo/blogs/redirect-loop
有効(警告あり)
「有効(警告あり)」のページは、インデックスに登録された一方で、Webサイト運営者として注意すべき問題があることを示しています。
主なメッセージに「robots.txt によりブロックされましたが、インデックスに登録しました」があります。これは、当該URLはrobots.txtでインデックスをブロックしているものの、ほかのページAから当該URLリンクが貼られているためにインデックスされたことを示しています。おそらく、この場合のページAというのは外部のサイトですので、リンク設置または削除はコントロールできないケースも多いのではないでしょうか。
このようなページは検索結果では、以下の図のように「このページの情報はありません」とのスニペットとともに表示されます。
robots.txtでブロックされたページは、Googlebotがクロールできませんので、リンクのアンカーテキストなどの周辺情報からタイトル部分を生成して、ディスクリプションのないままインデックスが作成されるためです。
対処法としては、どのようなページがリストアップされているかにもよりますが、以下のようなものが挙げられます。
・このままにしておく
・クロールさせても問題ないのであれば、robots.txtによるブロックを解消する
・インデックスさせたくない場合は、robots.txtによるブロックを解消し、noindexを挿入しておく
・予期せず閲覧されることを防ぎたい場合は、ベーシック認証やIPなどによりアクセス制限を行う
有効
ページがインデックスに登録されていることを示しています。
送信して登録されました
サイトマップから送信してインデックスに登録されたURLです。
サイトマップに記載されたURLがすべてインデックスされているのが理想です。
サイトマップファイルに記載されたURLのインデックス状況については、左メニューの「サイトマップ」から該当のサイトマップファイルを選択し、「インデックスカバレッジを表示」から確認してみましょう。
インデックス登録されましたが、サイトマップに送信していません
サイトマップに記載されていないのにもかかわらずインデックスされたページです。
有効と表示されていますのであまり気に留めない方も多いかもしれませんが、理想としてはこの項目は0になり、全て「送信して登録されました」になることです。
クリックして該当するURLリストを表示し、1つ1つどのようなページなのかを確認してみましょう。
該当するページが重要なページである場合は、サイトマップに記載することをおすすめします。
一方で、インデックスしたくないページなのに意図せずインデックスされている場合もあります。このようなページは重複ページと紙一重である場合がほとんどで、このようなページが多数あるとサイトのクロールやインデックスに負荷を与えるおそれがあります。
対処としては、canonicalやnoindexを見直す、robots.txtやnofollowなどのクロール制御を行う、そもそもページを生成しないよう調整する、といった施策が考えられます。
後述する除外ページの項目も確認ください。
除外
「除外」のページは、前述のエラー以外の要因でインデックスに登録されていません。例えば、明示的にnoindexタグが付いているページや、すでにインデックス登録済みの正規ページと重複しているページなどです。
「有効」のページ数と比較して少なければ対処する必要性は低いでしょう。しかし、「除外」のページが膨大な場合は、クロールバジェットの枯渇によってクローラーの回遊性(クローラビリティ)に悪影響を及ぼす可能性があるため、あらかじめ対策を講じておくことをおすすめします。(クロールバジェットとは、クローラーが設けている1つのWebサイトで巡回できるページ数の上限値です。)
特に、サイトによって「検出 – インデックス未登録」や「クロール済み – インデックス未登録」「重複しています。+(各理由)」は数が多くなりがちなので、チェックしておくことをおすすめします。
「除外」に関する具体的な検出メッセージには、次のものがあります。
総じて、インデックスさせるつもりのないURLは正規化してGoogleから発見されないようにする一方で、インデックスさせたいURLをサイトマップに記載し、コンテンツを改善することが有効と考えられますが、各項目について原因と対処法をご紹介します。
noindex タグによって除外されました
noindexタグを付けているページが該当します。意図してnoindexタグを付けているのであれば問題ありません。基本的には対処不要です。
robots.txt によりブロックされました
robots.txtに含まれているページが該当します。意図してブロックしているのであれば問題ありません。対処不要です。
しかし、前述のように、ブロックしていてもインデックスされることはありうると認識しておく必要があります。
インデックスさせたくないのであれば、noindex付与することを検討してみてください。
検出 – インデックス未登録
サイトマップ(sitemap.xml)や内部リンクによってクローラーはページを検出したものの、インデックスが未登録の状態であるページが該当します。
通常はURL検出後ほどなくインデックスに登録されますが、しばらく時間が経過してもステータスが変わらない場合は、コンテンツの品質に問題があるかもしれません。
念のため該当のURLをURL検査ツールでインデックスステータスを確認してみてください。
インデックスされているが、ラグのために未登録としてレポートされていることもあるためです。
参考:URL検査ツール(旧:Fetch as Google)とは?初心者でも分かる簡単な使い方
https://www.sakurasaku-marketing.co.jp/labo/blogs/url-inspection-tool
URL検査を行ってもインデックスされていない場合、特に該当数が多い場合は、コンテンツの品質低下やクロールバジェットの枯渇が考えられます。後述「クロール済み – インデックス未登録」と同様に、コンテンツの品質を高めたり、クロールすべきページを減らすなどの対策を講じたほうがよいでしょう。
クロール済み – インデックス未登録
URLを発見後ページがクロールされたものの、インデックスされなかったページが該当します。「コンテンツが薄い」「重複ページである」「サイトマップ(sitemap.xml)で通知されているものの、サイト内のどこからもリンクされていない」といった理由により、Googleが「さほど重要なページでない」と判断したためと考えられます。
「クロール済み – インデックス未登録」は、ECサイトなどのデータベース型サイトで頻発する傾向があります。
重複ページが多いなどによりオリジナリティが低い割にサイト内にあまりにページが多い場合、クロールバジェットの枯渇を招く要因にもなりえます。
そのため、コンテンツの品質を高めてGoogleがよりクロール頻度を高めるべきサイトであると認識させる必要があります。
まずはどのようなページがリストアップされているのかを、インデックスさせたいページであるかどうかという観点から確認してみましょう。
そのうえで、以下のような状況になっていないか確認してみましょう。
インデックスさせたいURLの場合
- ページ内のオリジナルなメインコンテンツ部分が、ナビゲーションなどのサイト共通要素と比べて少なくなっていないか
- 他サイトからのコンテンツを拝借するなど、サイト自体のオリジナリティが低くなっていないか
- 該当のURLはサイトマップに記載されているか
インデックスさせたくないURLの場合
- URLパラメータなどによって重複ページが発生し、Googleがクロールするページが多くなりすぎていないか
- 発生した重複ページはリダイレクトまたは最低でもcanonicalによって正規化されているか
- 発生した重複ページが無秩序にクロールされないようにnofollowやrobots.txtによるブロックをしているか
- そもそも重複ページや低品質なページを生成しないようにしているか
特に、URLパラメータを使用しているサイトでは重複ページが多くなりがちのため、特に注意が必要です。正規化をしっかり行い、非正規ページへのリンクは極力避けましょう。
以下の記事も参考ください。
URLパラメータを用いる際のSEO上の注意点
https://www.sakurasaku-marketing.co.jp/labo/blogs/url-parameters
このようなコンテンツ要因やクロール要因によってインデックスされない場合の対応については以下の記事の該当項目も参照ください。
ページがインデックスされていない場合の対応
https://www.sakurasaku-marketing.co.jp/labo/blogs/indexing
なお、インデックス未登録の要因が次に該当する場合は、基本的に対処は不要です。
- Feedページである
- ページネーションされたページである
- 誤検知、タイムラグ(メッセージに基づいてあらためてURL検査をするとインデックスされている場合はこちらに該当します)
代替ページ(適切な canonical タグあり)
「rel=”canonical”」タグで正規化済みのページが該当します。意図して正規化しているのであれば問題ありません。対処不要です。
ページにリダイレクトがあります
リダイレクト設定しているページが該当します。特段対処の必要はありませんが、リダイレクトチェーンが長い場合は、リダイレクトのステップの数だけクロール対象のURLが増えるため、クロールバジェットを浪費する要因となりえます。極力1ステップで目的のURLにリダイレクトするように設定することをおすすめします。
見つかりませんでした(404)
クロール時に404エラー(404 not found)が返ってきたページです。サイトマップ(sitemap.xml)に当該ページの記載はないものの、以前は200で存在していた場合や、別ページや外部サイトからのリンクが検出された場合に発生します。
意図して削除済みのページであれば特に対処不要ですが、ページが別URLに移動した場合にはリダイレクト設定をしましょう。
重複しています。ユーザーにより、正規ページとして選択されていません
「rel=”canonical”」タグが自身のページに向けて設定されておらず、Googleもインデックスする必要がないと判断したページです。
このページをインデックスさせたいのであればcanonical設定を確認してみましょう。
またサーチコンソールのURL検査ツールを使うと、Googleが正規として認識しているページを確認することができます。
参考:URL検査ツール(旧:Fetch as Google)とは?初心者でも分かる簡単な使い方
https://www.sakurasaku-marketing.co.jp/labo/blogs/url-inspection-tool
重複しています。送信された URL が正規 URL として選択されていません
サイトマップ(sitemap.xml)に含まれているものの、Googleが重複コンテンツと判断し、別URLを正規ページとしてインデックスしているページが該当します。このページの代わりに、Googleが正規ページとみなしているページがインデックスされています。
このページのcanonical設定が間違っていないか、もしくはサイトマップ(sitemap.xml)に記載しているURLが誤っていないか、確認しましょう。Googleがインデックスしている正規ページは、上記のとおりURL検査ツールで確認することができます。
重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました
このページに向けて別のページから「rel=”canonical”」タグで正規ページとして設定されているものの、Googleが別のページのほうが正規ページとして適切と判断したために、このページはインデックスされていません。
URL検査ツールでGoogleが正規ページとしてインデックスしているページを確認しましょう。そのページが正規ページとしてみなされることが問題なければ、「rel=”canonical”」タグの内容を修正します。
正規ページとしてほかのページをインデックスしてもらいたい場合は、「重要なページだ」と判断してもらえるように、コンテンツの質とオリジナル性を高める必要があります。
前述のインデックス未登録項目で解説した点などについて対処した後、サーチコンソールのURL検査ツールで「インデックス登録をリクエスト」してみましょう。
エラーを解決したら「修正を検証」を行う
上記のステータスのうち、「エラー」と「有効(警告あり)」については修正を行うとサーチコンソール上からGoogleに検証依頼を出すことができます。
「有効」と「除外」については検証できませんので、施策効果があったかどうかの振り返りのためには除外のURL数などを記録しておくとよいでしょう。
「修正を検証」では明示的に「合格」または「不合格」と判定されますので、可能であればやっておきましょう。
ただし、同じエラーが出ている対象URL全て(上記のキャプチャでは6URL)を修正しないと、検証開始できない、もしくは開始できたとしても不合格となってしまうので注意が必要です。
「ページがインデックスに登録されなかった理由」(旧カバレッジレポート」内に「修正を検証」のボタンがあるので、ここから再クロールを依頼しましょう。
数日でメールやサーチコンソール上で結果がレポートされます。
検証結果は「合格」または「不合格」で判定されます。
不合格の場合は、該当項目すべてのURLについて確認を行ったか、もしくは別のエラーが出ていないか、などの観点からあらためてページを見直しましょう。
まとめ
Googleから「ページがインデックスに登録されなかった理由」(旧インデックスカバレッジレポート」のエラー検出のメールを受け取ると、焦るかもしれません。メールにはエラー内容も記載されていますので、落ち着いて確認しましょう。
また、エラーが出ていなくても、インデックスはSEOの前提となる非常に重要なプロセスですので、自身のサイトがどれくらいインデックスされているかは定期的に確認しておくことをおすすめします。