今回は、Google Search Consoleに含まれる機能の一つである「robots.txtテスター」について使い方や注意点をわかりやすく解説します。

robots.txtテスターとは?何のために使用？

robots.txtとは、検索エンジン等のクローラーに対してアクセス制御をおこなうためのファイルのことです。

robots.txtはサイトのルートディレクトリ（最上位のディレクトリ）に配置する必要があります。
例えば弊社のサイト（https://www.sakurasaku-marketing.co.jp/labo/）であれば以下のようになります。

https://www.sakurasaku-marketing.co.jp/labo/ robots.txt

robots.txtを用いることで、特定のユーザエージェント（User-agent:）を指定してアクセス禁止（Disallow）やアクセス許可（Allow）等の記述をすることが可能です。

このように特定のページに対してクロールされないように指示できるのですが、正しく構文が記載されていないと、重要なページがインデックスされなくなったり、検索結果に表示されなくなったりするなど、大きなミスにつながるケースもあります。

そのような事態を回避するため、robots.txtテスターでrobots.txtに記載した構文や文法にミスがないか確かめることが必要です。

robots.txtテスターの使い方

以下のURLからrobots.txtテスターのページにアクセスできます。
https://www.google.com/webmasters/tools/robots-testing-tool
※Google Search Consoleの登録が必要です

Google Search Consoleにログインし、robots.txtテスター画面を開くとクロール済みのrobots.txtの内容が赤枠の箇所に表示されます。

何も表示されない場合は正しくrobots.txtが設置されていませんので、ルートディレクトリに設置されているか確認してみましょう。

それでは記述内容にミスがないか確認してみましょう。

まずはrobots.txtテスター画面の下部のフォームに動作テストをしたいURLのドメイン以下の部分を入力します。

入力が完了したら右下にある赤枠の「テスト」ボタンを押すだけで完了です。

クローラーがアクセスできない状態である場合、robots.txtの記述箇所が赤く強調され、画面右下に「ブロック済み」というメッセージが表示されます。

アクセス可能な場合は緑色の文字で「許可済み」と表示されます。

このように使い方はとてもシンプルなのでぜひ試してみてください。

robots.txtの指示を書き換えてプレテストする

「robots.txt テスター」では画面上で直接robots.txtを書き換えて問題ないかプレテストをすることも可能です。
ただし、画面上で修正した記述内容はあくまでテストであり、実際のrobots.txtの中身が置き換わるわけではないため、注意しましょう。
修正する場合は以下のように、画面上にカーソルを合わせて直接入力を行います。

Robots.txtの構文に一致しない記述をすると×判定が出て、エラー扱いとなります。

このテスト機能はrobots.txtを修正する前の事前確認や、robots.txtが意図した通りに動くか検証する際に便利な機能です。

robots.txtテスターの注意点

最後にrobots.txtテスターに関する注意点を１つ紹介します。

例えばrobots.txtテスターでエラーを確認し、内容を正しく修正したとしてもGoogleはすぐに反映してくれません。

というのもGoogleのクロールとインデックスの仕組みは複雑で、反映されるまでの期間が明言されていないのです。

そのため多少タイムラグがあると思っていた方がよいでしょう。

ただすぐに反映してほしい場合は、リクエストを送信することを推奨いたします。

送信方法は下記のとおりです。
・robots.txtファイルを更新
・robots.txtテスターを開く
・画面右下の「送信」ボタンをクリック
・「アップロードされたバージョンを確認」から記述内容を確認
・「Googleに更新をリクエスト」をクリック

これで正しく更新のリクエストを通知することができます。ぜひ覚えておいてください。

まとめ

今回はrobots.txtテスターについて解説させていただきました。
上記の通り、robots.txtテスターを使うとrobots.txtを使用している場合、クローラーのアクセスが正しく制御されているのか確認することができます。

robots.txtファイルを作成した際にはきちんと設定されているかどうかを確認するためにも、robots.txtテスターを使って確認することが大切です。