目次
robots.txtは検索エンジンにサイトのURL（ディレクトリ・ファイル）へのクロールの可不可を伝えるテキストファイルです。
robots.txtの概要
「ユーザーエージェント」「クロールを許可しない」「サイトマップ」の３つの要素で記述する。ただし「クロールを許可しない」URL指定の中で一部許可するものがあれば「Allow:」でURL指定する。
User-agent
ユーザーエージェントは基本的に「*」で全てのクローラーを指定する。
Disallow
クロールを許可しないURLの指定。「Disallow:」のみで指定を空白にすると「全てのURLのクロールを許可する」と同じ意味になる。
Allow
クロールを許可しないURLの中の一部クロールを許可するURLの指定をする。
Sitemap
サイトマップのURLを記述する。（複数指定可）
概要を踏まえた記述の例
例１
User-agent: *
Disallow:
Sitemap: https://www.mysite.com/sitemap.xml全てのクローラーのクロールを許可する。
全てのURLのクロールを許可する
例２
User-agent: *
Disallow: /example/
Allow: /example/aaa/
Allow: /example/bbb/ccc.html
Sitemap: https://www.mysite.com/sitemap.xml
Sitemap: https://www.mysite.com/blog/sitemap.xml全てのクローラーのクロールを許可する。
「/example/」ディレクトリのクロールを許可しない。
ただし、「/example/」ディレクトリ内の「/exmple/aaa/」ディレクトリはクロールを許可する。
ただし、「/example/」ディレクトリ内の「/example/bbb/ccc.html」ファイルはクロールを許可する。
