最終更新日 2025年5月6日

robots.txtは検索エンジンにサイトのURL（ディレクトリ・ファイル）へのクロールの可不可を伝えるテキストファイルです。

robots.txtの概要

「ユーザーエージェント」「クロールを許可しない」「サイトマップ」の３つの要素で記述する。ただし「クロールを許可しない」URL指定の中で一部許可するものがあれば「Allow:」でURL指定する。

User-agent
ユーザーエージェントは基本的に「*」で全てのクローラーを指定する。

Disallow
クロールを許可しないURLの指定。「Disallow:」のみで指定を空白にすると「全てのURLのクロールを許可する」と同じ意味になる。

Allow
クロールを許可しないURLの中の一部クロールを許可するURLの指定をする。

Sitemap
サイトマップのURLを記述する。（複数指定可）

概要を踏まえた記述の例

例１

User-agent: *
Disallow:
Sitemap: https://www.mysite.com/sitemap.xml

• 全てのクローラーのクロールを許可する。
• 全てのURLのクロールを許可する

例２

User-agent: *
Disallow: /example/
Allow: /example/aaa/
Allow: /example/bbb/ccc.html

Sitemap: https://www.mysite.com/sitemap.xml
Sitemap: https://www.mysite.com/blog/sitemap.xml

• 全てのクローラーのクロールを許可する。
• 「/example/」ディレクトリのクロールを許可しない。
• ただし、「/example/」ディレクトリ内の「/exmple/aaa/」ディレクトリはクロールを許可する
• ただし、「/example/」ディレクトリ内の「/example/bbb/ccc.html」ファイルはクロールを許可する。

---