文章編號: 217103 - 上次校閱: 2008年7月7日 - 版次: 4.2

如何撰寫 Robots.txt 檔案

中英文對照顯示按一下這裡顯示機器翻譯的中英文對照
機器翻譯檢視機器翻譯免責聲明
檢視此文章適用的產品。
系統提示本文適用於您使用的作業系統之外的作業系統。與您不相關的文章內容已停用。
我們強烈建議所有使用者都升級到 Microsoft 網際網路資訊服務 (IIS) 7.0 版 Microsoft Windows Server 2008 上執行。 IIS 7.0 大幅提升網頁基礎結構的安全性。如需有關 IIS 與安全性相關的主題請造訪下列的 Microsoft Web 網站：
http://www.microsoft.com/technet/security/prodtech/IIS.mspx (http://www.microsoft.com/technet/security/prodtech/IIS.mspx)
如需有關 IIS 7.0 的詳細資訊，請造訪下列 Microsoft 網站]：
http://www.iis.net/default.aspx?tabid=1 (http://www.iis.net/default.aspx?tabid=1)
全部展開 | 全部摺疊

結論

Web 蜘蛛通常稱為機器人，是"編目"跨網際網路及索引頁的網頁伺服器的 WWW 搜尋引擎。Web 連環新再就型錄該資訊，而使它可用來搜尋網際網路。這項功能可讓使用者藉由允許一個停止採購 」 尋找網際網路上的特定資訊，透過連環新 WWW 網站更容易。大部分的機器人也排定優先順序允許"奪得 」 或上一個搜尋最可能的符合項目的順序排列的搜尋結果在網際網路上的文件。

Robots.txt 檔案是永遠位於您的 Web 伺服器根目錄的特殊文字檔。這個檔案包含 Web 蜘蛛告訴他們並且具有搜尋的權限的位置的限制。請注意不需要 Web 機器人尊重 Robots.txt 檔案，但最記載的 Web 蜘蛛遵循您定義的規則。

其他相關資訊

當它瀏覽稱為 「 使用者-代理 」，IIS 記錄檔中會出現您網站時，機器人會識別本身。通常，Web 蜘蛛尋檢您的網站時的事件的流程會類似於下列：
  1. 機器人詢問 /robots.txt 檔案，並會尋找一個"使用者代理程式： 」 行，尤其是參照到它。
    • 如果它找到的項目為本身，例如"使用者代理程式: WebRobot，"然後跟與它相關的規則。
    • 如果是找不到項目為本身，它會尋找一組通用規則，例如"使用者代理程式: *，"和 obeys 那些規則。
    • 如果機器人的本身有一個項目，且一組通用的規則也存在，機器人的個人規則將會取代全域規則。
  2. 使用者代理程式的規則已設定為 「 禁止選擇："告訴機器人，它不能在此搜尋的陳述式。disallow 陳述式會套用至任何可能已經被要求由機器人的位址。例如：
    • "不允許：/test"會導致忽略 /test/index.htm，等等的網頁連環新。
    • "不允許： /"會導致要忽略整個站台 ； 一個 Web 連環新有時這是令人滿意。
    • "不允許： 「 允許要耙梳整個網站的 Web 連環新。
  3. 以井字符號 (#) 開頭的行表示註解這會很有用，當建立長設定的規則。 範例

    • 本範例不允許整個網站的所有 Web 蜘蛛： 
      # Make changes for all web spiders
User-agent: *
Disallow: /
    • 下列範例不允許命名 WebSpider 」 從虛擬路徑的機器人"/ 行銷"和"/ 銷售"： 
      # Tell "WebSpider" where it can't go
User-agent: WebSpider
Disallow: /marketing
Disallow: /sales

# Allow all other robots to browse everywhere
User-agent: *
Disallow:
    • 本範例允許只有一個 Web 蜘蛛，同時拒絕所有其他蜘蛛名為"SpiderOne 」 到一個網站： 
      # Allow "SpiderOne" in the site
User-agent: SpiderOne
Disallow:

# Deny all other spiders
User-agent: *
Disallow: /
    • 最後這個範例不允許您的網站的根目錄中的 FrontPage 相關路徑: 
      # Ignore FrontPage files
User-agent: *
Disallow: /_borders
Disallow: /_derived
Disallow: /_fpclass
Disallow: /_overlay
Disallow: /_private
Disallow: /_themes
Disallow: /_vti_bin
Disallow: /_vti_cnf
Disallow: /_vti_log
Disallow: /_vti_map
Disallow: /_vti_pvt
Disallow: /_vti_txt
如需有關如何撰寫 Robots.txt 檔案的詳細資訊，請參閱下列網站：
http://www.robotstxt.org/orig.html (http://www.robotstxt.org/orig.html)

http://www.robotstxt.org/wc/faq.html (http://www.robotstxt.org/wc/faq.html)

http://www.robotstxt.org/ (http://www.robotstxt.org/)
這篇文章中的資訊適用於:
  • Microsoft Internet Information Services 6.0
  • Microsoft Internet Information Server 1.0
  • Microsoft Internet Information Server 2.0
  • Microsoft Internet Information Server 3.0
  • Microsoft Internet Information Server 4.0
  • Microsoft Internet Information Services 5.0
  • Microsoft Internet Information Services 7.0
回此頁最上方
關鍵字：?
kbmt kbhowto KB217103 KbMtzh
機器翻譯機器翻譯
重要：本文是以 Microsoft 機器翻譯軟體翻譯而成，而非使用人工翻譯而成。Microsoft 同時提供使用者人工翻譯及機器翻譯兩個版本的文章，讓使用者可以依其使用語言使用知識庫中的所有文章。但是，機器翻譯的文章可能不盡完美。這些文章中也可能出現拼字、語意或文法上的錯誤，就像外國人在使用本國語言時可能發生的錯誤。Microsoft 不為內容的翻譯錯誤或客戶對該內容的使用所產生的任何錯誤或損害負責。Microsoft也同時將不斷地就機器翻譯軟體進行更新。
按一下這裡查看此文章的英文版本：217103? (http://support.microsoft.com/kb/217103/en-us/ )
回此頁最上方
Microsoft及(或)其供應商不就任何在本伺服器上發表的文字資料及其相關圖表資訊的恰當性作任何承諾。所有文字資料及其相關圖表均以「現狀」供應，不負任何擔保責任。Microsoft及(或)其供應商謹此聲明，不負任何對與此資訊有關之擔保責任，包括關於適售性、適用於某一特定用途、權利或不侵權的明示或默示擔保責任。Microsoft及(或)其供應商無論如何不對因或與使用本伺服器上資訊或與資訊的實行有關而引起的契約、過失或其他侵權行為之訴訟中的特別的、間接的、衍生性的損害或任何因使用而喪失所導致的之損害、資料或利潤負任何責任。