Nasýl yapýlýr: Robots.txt dosya yazma

"ýnternet ve dizin sayfalarý arasýnda Web sunucularýnda gezin" WWW arama alt yapýlarý web örneklerini, genellikle robots, olarak adlandýrýlan var. Bir Web Spider sonra bu bilgileri katalog ve ýnternet arama için kullanýlabilir hale getirin. Bu, belirli bilgileri ýnternet'te "tek alýþveriþ" izin vererek Spider'ýn WWW sitesiaracýlýðýyla bulmalarýný kolaylaþtýrýr. Çoðu robots de, arama sonuçlarýnýn "sonucu" veya üzerinde bir arama en olasý eþleþmeleri sýrada saðlayarak ýnternet'te belgeleri öncelik.

Web sunucunuzun kök dizininde bulunan her zaman özel bir metin dosyasý Robots.txt dosyasýdýr. Bu dosya, Web örneklerini, bunlar aramak için izninizin olduðu belirten sýnýrlamalarý içerir. Web Robots Robots.txt dosyalarý dikkate almanýz gerekli deðildir, ancak en well-written Web örneklerini tanýmladýðýnýz kurallarýna unutulmamalýdýr.

"Kullanýcý-Aracýsý" adý verilir ve ýýS'ndeki günlükleri görünür sitenize attýðýnda BIR robot kendisini tanýtýr. Genellikle, aþaðýdakine benzer bir Web Spider sitenizde gezindiðinde, olaylarýn akýþý þöyledir:

1. Robot /robots.txt dosyanýz için sorar ve aradýðý bir "Kullanýcý-Aracýsý:" için özellikle baþvuran satýrý.
   • Bir girdi kendisi için gibi bulduðu, "Kullanýcý-Aracýsý: WebRobot,", kendisine ait kurallara sonra.
   • Durumunda olan girdiyi bulmak kendisi için genel bir kural kümesi için gibi görünüyor "Kullanýcý-Aracýsý: *," ve bu kurallar obeys.
   • Robot kendisi için bir giriþ vardýr ve genel bir kural kümesi de varsa, robot'ýn kiþisel kurallarýný genel kurallar yerini.
2. Kurallarý için bir kullanýcý aracýsý olarak ayarlanan "Disallow:" ifadeleri burada arayamazsýnýz bir robot söyleyin. Bir disallow deyimi tarafýndan robot istenen herhangi bir adresi uygulanýr. Örneðin,:
   • "Izin verme: / test" /test/index.htm yoksay ve benzeri bir Web Spider neden olur.
   • "Izin verme: /" tüm sitesine; yoksaymak bir Web Spider neden bazen Bu tercih edilir.
   • "Izin verme:" tüm sitenin gezilip gezilmeyeceðini Web Spider saðlar.
3. Uzun oluþturma kurallarýný. örnekleri belirlediðinde, yararlý olabilir ve açýklamalar sterlin simgesi (#) ile baþlayan satýrlarý belirtmek
   
   
   • Bu örnek, sitenin tamamý için tüm Web örneklerini izin vermiyor:

     # Make changes for all web spiders
     User-agent: *
     Disallow: / 
     						

   • Aþaðýdaki örnek, sanal yoldan "WebSpider" adlý bir robot izin vermiyor "/ Pazarlama" ve "/ Satýþ":

     # Tell "WebSpider" where it can't go
     User-agent: WebSpider
     Disallow: /marketing
     Disallow: /sales
     
     # Allow all other robots to browse everywhere
     User-agent: *
     Disallow:
     						

   • Bu örnekte, yalnýzca bir Web "SpiderOne" bir site içinde diðer tüm örneklerini iznini geri çevirme adlý Spider verir:

     # Allow "SpiderOne" in the site
     User-agent: SpiderOne
     Disallow:
     
     # Deny all other spiders
     User-agent: *
     Disallow: / 
     						

   • Bu son örnek Web sitenizin kök yolu FrontPage ile ilgili izin vermiyor:

     # Ignore FrontPage files
     User-agent: *
     Disallow: /_borders
     Disallow: /_derived
     Disallow: /_fpclass
     Disallow: /_overlay
     Disallow: /_private
     Disallow: /_themes
     Disallow: /_vti_bin
     Disallow: /_vti_cnf
     Disallow: /_vti_log
     Disallow: /_vti_map
     Disallow: /_vti_pvt
     Disallow: /_vti_txt
     						

Robots.txt dosyalarý yazma ile ilgili daha fazla bilgi için aþaðýdaki Web sitelerine bakýn: