Web スパイダー (いわゆる Web ロボット) は、Web サーバー上でインターネットおよび Index ページを "クロール" する WWW 検索エンジンです。Web スパイダーは、検索した情報をカタログ化し、インターネット上で検索できるようにします。この情報を基に、スパイダーの WWW サイト経由で "(1 か所で用事が済む) ワンストップ ショッピング" を提供すると、ユーザーはインターネット上で特定の情報を簡単に見つけることができます。また、多くのロボットは、インターネット上のドキュメントに "スコア" などの優先順位を付け、検索で一致率の高い順に検索結果を並べ替えることができます。
Robots.txt ファイルは Web サーバーのルート ディレクトリに常駐する特別なテキスト ファイルです。このファイルには Web スパイダーに対するアクセス制限が記載されており、スパイダーはこのファイルを基に検索許可のある場所を判断します。すべての Web ロボットが Robots.txt ファイルのルールに従う必要はありませんが、ユーザーの定義したルールに従って検索を行うものほど質の高いロボットと言えます。
先頭へ戻る
ロボットはサイトを参照するときに、その痕跡を IIS のログに残します。これは "ユーザー エージェント" として知られています。一般的に Web スパイダーは、以下の流れでサイトをクロールします。
| 1. |
/robots.txt ファイルを要求し、そのロボット自体を参照している "User- agent:" 行があるかどうかを確認します。
| ? |
そのロボット自体のエントリ ("User-agent: WebRobot" など) を見つけた場合、ロボットはそのエントリに関連付けられたルールに従います。
| | ? |
そのロボット自体のエントリが見つからない場合、グローバル ルール (たとえば、"User-agent: *" など) を探して、そのルールに従います。
| | ? |
どちらのエントリも存在する場合は、グローバル ルールよりも、そのロボット自体に対するルールの方が優先されます。
|
|
| 2. |
ユーザー エージェント用のルールは "Disallow:" ステートメントで設定します。ここには、ロボットに検索を許可しない場所を指定します。Disallow ステートメントは、ロボットによって要求される可能性のある任意のアドレスに対して適用されます。以下に例を示します。
| ? |
ステートメントに "Disallow: /test" と指定されていれば、Web スパイダーは /test の下にある /test/index.htm などのアドレスを無視します。
| | ? |
ステートメントに "Disallow: /" と指定されていれば、Web スパイダーはサイト全体を無視します。この指定が望ましい場合もあります。
| | ? |
ステートメントに "Disallow: " と指定されていれば、Web スパイダーはサイト全体をクロールできます。
|
|
| 3. |
番号記号 (#) で始まる行はコメントを示します。これは、長いルールを作成する場合に役立ちます。
例
| ? |
すべての Web スパイダーによるサイト全体のクロールを禁止する場合
# Make changes for all web spiders
User-agent: *
Disallow: /
| | ? |
"WebSpider" という名前のロボットによる、仮想パス "/marketing" および "/sales" のクロールを禁止する場合
# Tell "WebSpider" where it can't go
User-agent: WebSpider
Disallow: /marketing
Disallow: /sales
# Allow all other robots to browse everywhere
User-agent: *
Disallow:
| | ? |
"SpiderOne" という名前の Web スパイダーのみにサイトのクロールを許可し、他のスパイダーのクロールは禁止する場合
# Allow "SpiderOne" in the site
User-agent: SpiderOne
Disallow:
# Deny all other spiders
User-agent: *
Disallow: /
| | ? |
Web サイトのルートにある FrontPage に関連するパスのクロールを禁止する場合
# Ignore FrontPage files
User-agent: *
Disallow: /_borders
Disallow: /_derived
Disallow: /_fpclass
Disallow: /_overlay
Disallow: /_private
Disallow: /_themes
Disallow: /_vti_bin
Disallow: /_vti_cnf
Disallow: /_vti_log
Disallow: /_vti_map
Disallow: /_vti_pvt
Disallow: /_vti_txt
|
|
Robots.txt ファイルの記述方法の詳細については、以下の Web サイトを参照してください。
先頭へ戻る
この資料は米国 Microsoft Corporation から提供されている Knowledge Base の Article ID
217103 (http://support.microsoft.com/kb/217103/EN-US/) (最終更新日 2003-05-20) を基に作成したものです。
この資料に含まれているサンプル コード/プログラムは英語版を前提に書かれたものをありのままに記述しており、日本語環境での動作は確認されておりません。
先頭へ戻る
Help and Support
