Googleで検索をすると、検索結果が順位付けされて表示されますが、それはGoogleがあらかじめWebサイトの情報を収集・評価し、データベースに格納（インデックス）しているからです。収集・評価作業は、検索エンジンロボット（クローラー）が世界中のWebサイトを巡回（クロール）して行なっています。
せっかく公開したページがGogoleに認識されないと検索結果に表示されずページ存在しないことと同じ事になってしまうため、Googleに素早く確実にインデックスしてもらうことは非常に重要なことです。
本記事では、新規作成したページをいち早くクロール・インデックスしてもらうためにできること、もしインデックスされなかった場合の原因と対処法について解説します。
ページがインデックスされずにお困りのサイト担当者様へ
インデックス問題を解決するためのスポットコンサルを行なっておりますので、サポートが必要な場合は以下よりお問い合わせください。
お問い合わせはこちらから
Googleにインデックスされないと検索上にページが表示されない
SEO（Search Engine Optimization：検索エンジン最適化）で言う「インデックスさせる」とは、GoogleにWebサイト上のページを見つけてページの内容を読み取ってもらい、Googleのデータベースに情報を格納させることを指します。
参考：インデックスの仕組みとSEOとの関係
https://www.sakurasaku-marketing.co.jp/labo/blogs/seo-index
インデックスの一歩手前では、Googleのロボット（クローラー）にWebサイトに来てもらう（クロールしてもらう）必要があります。
Googleにインデックスさせるには3つの方法がある
GoogleのロボットがWebサイトをクロールするためには、クロールするべきURLを見つける必要があります。
URLを通知またはクロールをリクエストする方法は３つあります。
- 内部リンク/外部リンク
- XMLサイトマップ
- URL検査ツールによるインデックス登録（旧fetch as Google）
このうちXMLサイトマップとURL検査ツールに関してはサーチコンソール上で管理や実行することができます。
サーチコンソールにまだ登録していないのであればあらかじめ登録しておきましょう。
サーチコンソールの使い方と登録方法
https://www.sakurasaku-marketing.co.jp/labo/blogs/google-search-console
Webサイト内や外部サイトからのリンク
まず１つ目で最も重要なのは、リンクを通じてURLを発見するというものです。
Googleのクローラーは、ページをクロールしている際にリンク（href属性が指定された<a>タグ）を見つけると、リンク先のページをクロール予定のリストに加えます。
この際リンク先がサイト内部か外部かであるかは特に関係なく、ページを見つけるためのヒントとして活用します。
Webサイト内の以下のような位置に、適切にリンクを貼っておき、クローラーがリンクを通じてページを見つけやすいように設置しておくことが重要です。
- グローバルメニュー
- パンくずリスト
- サイドバー
- フッター
- コンテンツ内からのリンク
逆に言うと、リンクによって見つけられるページでない場合、残る２つの方法を使わないとGoogleはURLを見つけられなくなってしまいます。
Googleは一度URLを見つけてしまえば定期的にそのURLのクロールを行いますが、新たにページを公開した場合は、基本的には内部リンクや外部リンクでページにクローラーが回れるよう導線を設置しておくことが重要です。
XMLサイトマップ
Webサイト内のインデックスしてもらいたいページをまとめたXMLサイトマップ（sitemap.xml）を作成し、サーチコンソールから送信する方法です。これにより送信したURLのインデックス状況などを把握することができるようになります。
参考：Google Search Console(サーチコンソール)からサイトマップを送信する方法とエラーの対処方法
https://www.sakurasaku-marketing.co.jp/labo/blogs/search-console-sitemap
小さなWebサイト（数十～～数百ページ程度）では内部リンクさえしっかりしていれば、特にXMLサイトマップがなくても多くの場合問題なくインデックスされる場合が殆どです。
ただし、ある程度大きなサイトでは、XMLサイトマップを作成し、常に最新の情報を送信しておくことで、新たにページを作成したり更新した際に、早く漏れなくインデックスされやすいため、強くおすすめします。
GoogleはXMLサイトマップのlastmodの日付を参考にしてクロールを行うため、最終更新日を随時更新し、サイトマップファイルを常に最新に保っておくのがベストです。作成のポイントについては以下の記事も参照ください。
XMLサイトマップの作成方法とSEOのポイント
https://www.sakurasaku-marketing.co.jp/labo/blogs/xmlsitemap
Googleからサイトマップのlastmodの日付が信用されていると、コンテンツを更新した際にサイトマップ上での変更を感知して、より迅速なインデックスにつながると考えられます。
なお、実際にページを更新していないにも関わらず、lastmodの日付を更新すると、Googleはその情報を信頼しなくなるため、正しく更新する必要があります。
URL検査ツール（旧fetch as Google）
基本的には、サーチコンソールにXMLサイトマップを送信すれば、新規ページは公開後まもなくインデックス登録されるはずです。何らかの理由でインデックスまでに時間がかかっている場合、もしくは時間がかかることが予想される場合は、サーチコンソールのURL検査ツールを活用すると良いでしょう。
URL検査ツール（旧fetch as Google）を使うと、ページ（URL）のインデックス登録をクローラーにリクエストすることができます。
参考：【サーチコンソール】URL検査ツール（旧：Fetch as Google）とは？初心者でも分かる簡単な使い方
https://www.sakurasaku-marketing.co.jp/labo/blogs/url-inspection-tool
ただし、URL検査ツールを通したインデックスリクエストはあくまで応急処置と考えるべきで、これを使わないとインデックスされないようなサイトは何かしら問題が発生している可能性があります。内部リンクやXMLサイトマップが適切かどうかを確認することをおすすめします。
「インデックス登録されましたが、サイトマップに送信していません」と表示されたらどうすればいいのか
サーチコンソールのURL検査ツールでWebサイト内のページを検査した際、検索結果のカバレッジに「インデックス登録されましたが、サイトマップに送信していません」というメッセージが表示されることがあります。
このメッセージには、「当該ページ（URL）のインデックス登録が成功した」と「当該ページ（URL）はXMLサイトマップ（sitemap.xml）に含まれていない」の2つの事柄が含まれています。
後者について、Googleは「重要なURLは、すべてサイトマップを使用して送信すること」（Search Consoleヘルプ）を推奨しているので、アドバイスしてくれているのです。
インデックス登録は成功しているので、当該ページがXMLサイトマップ（sitemap.xml）に含まれていないからといって、Webサイト運営やランキングの上で特に影響は生じないはずです。
とはいえ、すでに述べた通り内部リンクやXMLサイトマップを通してインデックス登録させるのが望ましいため、XMLサイトマップに含まれていないページについても、XMLサイトマップに記述しておくことをおすすめします。
インデックスの有無はどうやって確認する？
ページが実際にインデックスされているかどうかを確認するには、サーチコンソールのURL検査ツールを使用します。「site:ドメイン キーワード」コマンドGoogleのキャッシュを見て確認する方法もありますが、サーチコンソールでURL検査ツールを確認する方法が最も確実です。
インデックスリクエストの時と同様に、サーチコンソール上部のボックスに確認対象のURLを入力します。
インデックス有無の検査結果には、次の5種類があります。
- URLはGoogleに登録されています
- URLはGoogleに登録されていますが問題があります
- URLがGoogleに登録されていません。インデックス登録エラー
- URLがGoogleに登録されていません
- URLは代替バージョンです
「URLはGoogleに登録されています」と「URLはGoogleに登録されていますが問題があります」については、すでにインデックスされています。
ただし、問題がありますと表示されているのであれば、カバレッジレポートを確認し、アラートに対応した方がよいでしょう。モバイルユーザビリティや構造化データなどのエラーが考えられます。
その他の３つのメッセージが出た場合はインデックスされていません。結果の下に表示されるカバレッジレポートから原因を特定して改善しましょう。
ページがインデックスされていない場合の対応
インデックスされていない場合のメッセージそれぞれについて詳しく解説します。
URLがGoogleに登録されていません。インデックス登録エラー
このメッセージが表示される場合、Googleがクロールまたはインデックス拒否の指示を受けている場合があります。
カバレッジレポートには「クロールエラー」などと表記があるのではないでしょうか。
その際は以下のような点を確認してみてください。
- robots.txtでページのクロールを拒否していないか
- IPアドレスやユーザーエージェントによりGooglebotを拒否していないか
- ページにnoindexタグがついていないか
- またはHTTPヘッダーにてnoindexを指定していないか
- Webサイトが閲覧可能な状態になっているか（400番や500番台エラーが出ていないか）
- ベーシック認証等、クローラーが回ってこれない状況になっていないか
URLは代替バージョンです
このメッセージが表示される場合、Googleが他に正規ページがあると判断していると考えられます。
カバレッジレポートの中の、正規URLに関する項目を見てみましょう。
「Googleが選択した正規URL」が「ユーザーが指定した正規 URL と同じ」となっている場合は、ご自身でcanonicalタグなどで別ページを正規URLと指定している状態です。
その正規URLさえインデックスされていれば、今回調査したURLがインデックスされていなくても問題ありません。
「Googleが選択した正規URL」に「ユーザーが指定した正規 URL」と異なるURLが記載されている場合は、調査対象のURLが重複とみなされている可能性があります。
Googleは正規化されたURLを持つページを「正規ページ」としてクロール・インデックスしますが、そのほかのページは「重複ページ」と判断しインデックスされないため、検索結果にも出現しません。
インデックスさせるためには次項で述べるように、コンテンツ改善などを行う必要があります。
場合によっては「ユーザーが指定した正規 URL」で意図せず誤ったURLを指定している場合も考えられます。rel=”canonical”による正規化が意図した通りになっているか確認してみましょう。
URLがGoogleに登録されていません
ページがインデックスされていない要因としては、主にクロール要因とコンテンツ要因の2つに分けられます。
コンテンツ要因では、コンテンツが薄いなど、ページの品質が低くなっている可能性があります。
また、同じドメイン内や他サイトとの重複コンテンツが発生していないか確認するようにしましょう。
ページがインデックスされない要因として、重複コンテンツはよくあるパターンですが、Googleは重複コンテンツを検索結果に出現させないように調整しており、サーチコンソールのヘルプにも明記されています。
一般に、重複するコンテンツとは、ドメイン内または複数ドメインにまたがって存在する、他のコンテンツと完全に同じであるか非常によく似たコンテンツのブロックを指します。多くの場合、偽装を意図したものではありません。
Search Consoleヘルプ
Googleから重複コンテンツであるとみなされるようなページは、検索結果に出ないばかりか、そもそもインデックスされないケースもあります。
ページ内にオリジナルなコンテンツがあったとしても、他ページと共通するコンテンツが多すぎるとクローラーがオリジナルなコンテンツを判別しにくくなるためにインデックスされない可能性がありますので、このような観点から重複とみなされていないかチェックしてみましょう。
ページをインデックスされる方法としては、他社にないオリジナルコンテンツを追記する形が一般的です。
一次情報を公開したり、グラフや図表などのリッチコンテンツを展開し、ユーザーにとって分かりやすい見せ方を行い差別化を図るなど、情報の加工も重要となります。
一方、クロール要因については、Webサイト内に不要なページが多すぎないかを確認します。
クローラーには、「クロールバジェット」といって、1つのWebサイトで巡回できるページ数に上限値が設けられています。Webサイト内に不要なページが多すぎる場合、クロールバジェットが枯渇して十分にクローラーが巡回できていない可能性があります。
※数万ページであれば、通常クロールバジェットを気にする必要はないようです。
サーチコンソールメニューの「インデックス」＞「カバレッジ」のカバレッジレポートで、インデックスされているページ数と、意図的にインデックスされていない「除外」ステータスのページ数を比べてみます。
除外URL数が明らかに多い場合は、その原因を取り除くことでインデックス状況が改善する場合があります。
以上をふまえて、以下のような点を確認してみましょう。
- ページ内のオリジナルなメインコンテンツ部分が、ナビゲーションなどのサイト共通要素と比べて少なくなっていないか
- 他サイトからのコンテンツを拝借するなど、サイト自体のオリジナリティが低くなっていないか
- URLパラメータなどによって重複ページが発生していないか
- 発生した重複ページはリダイレクトまたは最低でもcanonicalによって正規化されているか
- 発生した重複ページが無秩序にクロールされないようにnofollowやrobots.txtによるブロックをしているか
- そもそも重複ページや低品質なページを生成しないようにしているか
ペナルティとインデックス
Google 検索の基本事項（旧ウェブマスター向けガイドライン）に違反しているWebサイトは、Googleからペナルティを課されるリスクがあります。ペナルティの内容は、検索順位の下落やインデックスの削除などが挙げられます。
ただし、インデックスの削除とは言っても、厳密には検索結果に表示されなくなる措置です。
このような場合、site:検索コマンドやキーワード検索では検索結果に表示されない（＝インデックスが確認できない）ですが、URL検査ツールではインデックス登録済みと表示される場合があります。
このことから思い当たるケースではペナルティを受けている可能性を考える必要があります。
Googleペナルティには手動ペナルティと自動ペナルティがあり、手動ペナルティが課せられているかどうかは、サーチコンソールのメニュー「セキュリティと手動による対策」＞「手動による対策」で判断できます。
Webサイトがペナルティを受けていない正常な状態では、「問題は検出されませんでした」と表示されます。手動ペナルティを受けている場合には、Googleからの指摘のメッセージが表示されます。
もう一方の自動ペナルティについては、サーチコンソールでWebサイトの状態を判断することができません。確定的に判断することはできませんので、改めてGoogle 検索の基本事項（旧ウェブマスター向けガイドライン）を確認し、思い当たる原因をつぶしていく形となります。
参考：【SEOスパム施策】スパム行為の種類を知ってペナルティを避けよう！
https://www.sakurasaku-marketing.co.jp/labo/blogs/seo-spam
まとめ
ページ（URL）がインデックスされるためには、まずはURLをGoogleに見つけてもらう必要があります。このページでは、Googleにインデックスを促す3つの方法を解説しました。
基本的にはXMLサイトマップと内部リンクをしっかり設定しておくことで、Googleが自動的にクロール・インデックスする状況にしておくことが理想です。
Googleがクロールできているにもかかわらずインデックスされていないような場合は、コンテンツに問題がある場合がほとんどです。
主に自サイト・他サイトとの重複コンテンツが問題となる場合が多いため、オリジナル情報を強化、コンテンツのリッチ化を行うなど、ページの質を高めるアクションを取っていくことが必要です。
