robots.txtは検索エンジンにサイトのURL（ディレクトリ・ファイル）へのクロールの可不可を伝えるテキストファイルです。

ウェブサイトの移転やページのURL変更時に「.htaccess」にリダイレクト（転送）の処理を記述することで旧サイトから新サイト、旧ページから新ページへと転送することが出来ます。また検索エンジンの評価も引き継がれます。