どのようなrobots.txtを、どのようにrobots.txtを作成する

新着robots.xtrobots.txtであることを指導されているファイルを表示するサイトでは、最初にリアルタイムでアクセスするための検索エンジンです。クモのrobots.txtファイルをどのようなファイル閲覧することができるサーバーに伝えます。検索実行時にスパイダーがサイトを訪問すると、最初にサイトのルートディレクトリを確認し、テキスト文書の行に、新しいWebページを検索する指定によると、robots.txtの存在がない場合は、。どのようにrobots.txtを第一に、書き込みに私たちを見るために、robots.txtファイルにアクセスすることができます。のHTTP：/ / www.51seofuwu.com/robots.txt。我々は、次のメッセージがユーザーエージェントを取得：*を許可しない