運営しているWebサイトについて、Googleから「『インデックス カバレッジ』の問題が新たに検出されました」というメールが届くことがあるでしょう。Googleは、クローラーが発見したWebページの情報を順次データベースに格納（インデックス）していきます。何らかの問題によりインデックスに失敗すると、そのWebページはGoogle検索結果に表示されません。SEO的にはページが存在していないのと同義ともいえるので、早急な対処が必要です。
「送信されたURLのクロールに問題があります」は、インデックスエラー（『インデックスカバレッジ』の問題）の一種です。このエラーが生じるケースと対処法について、解説します。
「送信されたURLのクロールに問題があります」エラーとは
サーチコンソールのインデックスカバレッジレポート（画面左のメニュー「インデックス」>「カバレッジ」）には、Webサイトのインデックス状況が表示されます。
インデックスされない原因となった各エラーがリストアップされていますが、「送信されたURLのクロールに問題があります」もインデックスされない理由の１つです。
とはいえ、これまでGoogleはインデックスされない理由を正確に把握もしくはレポートできておらず、詳細は個々のページを調査する必要がありました。
ところが、2021年初頭のカバレッジレポート改善のタイミングで、「送信されたURLのクロールに問題があります」に該当するエラーが激減しました。
おそらく以下の改善によるものだと考えられます。
Removal of the generic “crawl anomaly” issue type – all crawls errors should now be mapped to an issue with a finer resolution.
（訳：クロールエラータイプを除外し、全てのクロールエラーはより明確なエラーに割り当てられます。）
Google検索セントラルブログ
今後該当するエラー項目がなくなる可能性がありますが、備忘録としてこの記事で対応方法について解説します。
「送信されたURLのクロールに問題があります」エラーの原因
「送信されたURLのクロールに問題があります」に割り振られるのは、何らかの原因があるものの、インデックスされない理由を正確に把握もしくはレポートできないものがこのメッセージに割り振られているのだと考えます。
インデックスされなかった理由は以下のようなものが考えられます。
・サーバーエラー（5xx）
・リダイレクトエラー（リダイレクトチェーンなど）
・robots.txtによりブロックされている
・noindexが挿入されている
・404ページである
・404以外の4xxページである
・ソフト404である
・一時的なサーバーエラーなど、後追いができないもの
「クロールに問題があります」というメッセージだけではどのような理由であるかがわからないため、個別に調べる必要があります。
なお、「送信されたURLが（に）……」の各エラーは、当該URLをGoogleにインデックスしてほしいURLとしてサイトマップ（sitemap.xml）にて送信しているにもかかわらず、何らかの理由でインデックスできなかったことを示しています。
後述する確認作業に並行して、これらのURLがインデックスさせるべきURLであるかを確認し、そうでないのであればサイトマップから除外するようにしましょう。
（参考：インデックスカバレッジレポートの見方とエラーや除外への対処法）
「送信されたURLのクロールに問題があります」エラーの対処法
「送信されたURLのクロールに問題があります」に割り振られるエラーの原因は前述した通りで一概にはいえません。原因特定が難しいケースも存在しますが、まずは、エラーが検出されたURLをひとつひとつ調査することをおすすめします。
エラー対象のURLを確認する
インデックスカバレッジレポートの画面下部に表示される検出メッセージをクリックすると、エラー対象のURLが表示されます。
対処法① 目視確認
ページの目視を行いながらソースコードやステータスコードを確認します。
・ページのレンダリング状態におかしなところはないか
・ページにnoindexは挿入されていないか（ソースコードやHTTPヘッダーを確認）
・ステータスコードは正常か（デベロッパーツールやステータスコード確認ツールを使用）
・robots.txtによってブロックされていないか（robots.txtテスターを使用）
参考
デベロッパーツールを使用したHTTPヘッダーの確認方法
robots.txtテスターの使い方・注意点を解説
対処法② URL検査ツールでページをデバッグ（公開URLのテスト）し、原因を調べる
サーチコンソールの画面上部にあるURL検査ツールにURLを入力して、対象URLの以下のような点を確認しましょう。
• JavaScriptのコンソールメッセージにエラーは表示されていないか
• 読み込めなかったリソースの中にrobots.txtでブロックしているファイルやページはないか
• HTMLソースやスクリーンショットにおかしな点はないか
（参考：URL検査ツール（旧：Fetch as Google）とは？初心者でも分かる簡単な使い方）
対処法③ Webサーバーのアクセスログ、エラーログを精査する
可能ならばWebサーバーのアクセスログやエラーログを閲覧し、エラー対象のURLがクロールされたときにどんな挙動をしているか精査します。
特に、ステータスコードを確認するとよいでしょう。
不具合を解消したら、Googleに再クロールを依頼する
エラー対象の原因がわかって、全ページの不具合を解消できたら、「修正を検証」をクリックし、Googleに検証（再クロール）を依頼します。
参考：インデックスカバレッジレポートの見方とエラーや除外への対処法
まとめ
「送信されたURLのクロールに問題があります」エラーはカバレッジレポートの改善が行われた2021年現在、すでに減少している（もしくは出なくなっている）可能性があります。
以前このエラーが出ていたサイトは何かしらのインデックスエラーが発生していることに変わりはありませんので、デバッグ・改善する必要があります。
