Makale numarası: 217103 - Son Gözden Geçirme: 07 Temmuz 2008 Pazartesi - Gözden geçirme: 4.2

Nasıl yapılır: Robots.txt dosya yazma

Sistem İpucuBu makale, kullandığınızdan farklı bir işletim sistemine yöneliktir. Sizinle ilgili olmayabilecek makale içeriği devre dışı bırakıldı.
Tüm kullanıcıların Microsoft ınternet ınformation Services (IIS) sürüm 7.0 yükseltmenizi öneririz Microsoft Windows Server 2008 çalışan. IIS 7.0, Web altyapı güvenliği önemli ölçüde artırır. IIS güvenliği ile ilgili konular hakkında daha fazla bilgi için aşağıdaki Microsoft Web sitesini ziyaret edin:
http://www.microsoft.com/technet/security/prodtech/IIS.mspx (http://www.microsoft.com/technet/security/prodtech/IIS.mspx)
IIS 7.0 hakkında daha fazla bilgi için aşağıdaki Microsoft Web sitesini ziyaret edin:
http://www.iis.net/default.aspx?tabid=1 (http://www.iis.net/default.aspx?tabid=1)
Hepsini aç | Hepsini kapa

Özet

"ınternet ve dizin sayfaları arasında Web sunucularında gezin" WWW arama alt yapıları web örneklerini, genellikle robots, olarak adlandırılan var. Bir Web Spider sonra bu bilgileri katalog ve ınternet arama için kullanılabilir hale getirin. Bu, belirli bilgileri ınternet'te "tek alışveriş" izin vererek Spider'ın WWW sitesiaracılığıyla bulmalarını kolaylaştırır. Çoğu robots de, arama sonuçlarının "sonucu" veya üzerinde bir arama en olası eşleşmeleri sırada sağlayarak ınternet'te belgeleri öncelik.

Web sunucunuzun kök dizininde bulunan her zaman özel bir metin dosyası Robots.txt dosyasıdır. Bu dosya, Web örneklerini, bunlar aramak için izninizin olduğu belirten sınırlamaları içerir. Web Robots Robots.txt dosyaları dikkate almanız gerekli değildir, ancak en well-written Web örneklerini tanımladığınız kurallarına unutulmamalıdır.

Daha fazla bilgi

"Kullanıcı-Aracısı" adı verilir ve ııS'ndeki günlükleri görünür sitenize attığında BIR robot kendisini tanıtır. Genellikle, aşağıdakine benzer bir Web Spider sitenizde gezindiğinde, olayların akışı şöyledir:
  1. Robot /robots.txt dosyanız için sorar ve aradığı bir "Kullanıcı-Aracısı:" için özellikle başvuran satırı.
    • Bir girdi kendisi için gibi bulduğu, "Kullanıcı-Aracısı: WebRobot,", kendisine ait kurallara sonra.
    • Durumunda olan girdiyi bulmak kendisi için genel bir kural kümesi için gibi görünüyor "Kullanıcı-Aracısı: *," ve bu kurallar obeys.
    • Robot kendisi için bir giriş vardır ve genel bir kural kümesi de varsa, robot'ın kişisel kurallarını genel kurallar yerini.
  2. Kuralları için bir kullanıcı aracısı olarak ayarlanan "Disallow:" ifadeleri burada arayamazsınız bir robot söyleyin. Bir disallow deyimi tarafından robot istenen herhangi bir adresi uygulanır. Örneğin,:
    • "Izin verme: / test" /test/index.htm yoksay ve benzeri bir Web Spider neden olur.
    • "Izin verme: /" tüm sitesine; yoksaymak bir Web Spider neden bazen Bu tercih edilir.
    • "Izin verme:" tüm sitenin gezilip gezilmeyeceğini Web Spider sağlar.
  3. Uzun oluşturma kurallarını. örnekleri belirlediğinde, yararlı olabilir ve açıklamalar sterlin simgesi (#) ile başlayan satırları belirtmek

    • Bu örnek, sitenin tamamı için tüm Web örneklerini izin vermiyor:
      # Make changes for all web spiders
      User-agent: *
      Disallow: / 
      						
    • Aşağıdaki örnek, sanal yoldan "WebSpider" adlı bir robot izin vermiyor "/ Pazarlama" ve "/ Satış":
      # Tell "WebSpider" where it can't go
      User-agent: WebSpider
      Disallow: /marketing
      Disallow: /sales
      
      # Allow all other robots to browse everywhere
      User-agent: *
      Disallow:
      						
    • Bu örnekte, yalnızca bir Web "SpiderOne" bir site içinde diğer tüm örneklerini iznini geri çevirme adlı Spider verir:
      # Allow "SpiderOne" in the site
      User-agent: SpiderOne
      Disallow:
      
      # Deny all other spiders
      User-agent: *
      Disallow: / 
      						
    • Bu son örnek Web sitenizin kök yolu FrontPage ile ilgili izin vermiyor:
      # Ignore FrontPage files
      User-agent: *
      Disallow: /_borders
      Disallow: /_derived
      Disallow: /_fpclass
      Disallow: /_overlay
      Disallow: /_private
      Disallow: /_themes
      Disallow: /_vti_bin
      Disallow: /_vti_cnf
      Disallow: /_vti_log
      Disallow: /_vti_map
      Disallow: /_vti_pvt
      Disallow: /_vti_txt
      						
Robots.txt dosyaları yazma ile ilgili daha fazla bilgi için aşağıdaki Web sitelerine bakın:
http://www.robotstxt.org/orig.html (http://www.robotstxt.org/orig.html)

http://www.robotstxt.org/wc/faq.html (http://www.robotstxt.org/wc/faq.html)

http://www.robotstxt.org/ (http://www.robotstxt.org/)

Bu makaledeki bilginin uygulandığı durum:
  • Microsoft Internet Information Services 6.0
  • Microsoft Internet Information Server 1.0
  • Microsoft Internet Information Server 2.0
  • Microsoft Internet Information Server 3.0
  • Microsoft Internet Information Server 4.0
  • Microsoft Internet Information Services 5.0
  • Microsoft Internet Information Services 7.0
Anahtar Kelimeler: 
kbmt kbhowto KB217103 KbMttr
Otomatik TercümeOtomatik Tercüme
ÖNEMLİ: Bu makale, bir kişi tarafından çevrilmek yerine, Microsoft makine-çevirisi yazılımı ile çevrilmiştir. Microsoft size hem kişiler tarafından çevrilmiş, hem de makine-çevrisi ile çevrilmiş makaleler sunar. Böylelikle, bilgi bankamızdaki tüm makalelere, kendi dilinizde ulaşmış olursunuz. Bununla birlikte, makine tarafından çevrilmiş makaleler mükemmel değildir. Bir yabancının sizin dilinizde konuşurken yapabileceği hatalar gibi, makale; kelime dağarcığı, söz dizim kuralları veya dil bilgisi açısından yanlışlar içerebilir. Microsoft, içeriğin yanlış çevrimi veya onun müşteri tarafından kullanımından doğan; kusur, hata veya zarardan sorumlu değildir. Microsoft ayrıca makine çevirisi yazılımını sıkça güncellemektedir.
Makalenin İngilizcesi aşağıdaki gibidir:217103  (http://support.microsoft.com/kb/217103/en-us/ )