Bagaimana menulis Robots.txt File

Web laba-laba, sering disebut robot, adalah mesin pencari WWW "merangkak" di Internet dan indeks halaman di Web server. Web laba-laba akan kemudian Katalog informasi dan membuatnya tersedia untuk Internet untuk mencari. Hal ini membuat lebih mudah bagi pengguna untuk menemukan informasi tertentu pada Internet dengan memungkinkan "one-stop shopping" melalui laba WWW situs. Kebanyakan robot juga memprioritaskan dokumen yang ada di Internet, memungkinkan hasil pencarian untuk "mencetak" atau disusun dalam urutan kemungkinan pertandingan pada pencarian.

Robots.txt file adalah file teks khusus yang selalu berada di Anda Web direktori root server. File ini berisi pembatasan untuk Web Laba-laba, memberitahu mereka di mana mereka memiliki izin untuk mencari. Itu harus mencatat bahwa robot Web tidak diwajibkan untuk menghormati Robots.txt file, tetapi laba-laba Web paling ditulis dengan baik mengikuti aturan-aturan yang Anda tentukan.

Robot mengidentifikasi dirinya ketika menelusuri situs Anda, yang dikenal sebagai "User-agent" dan muncul di log untuk IIS. Umumnya, aliran peristiwa ketika Web laba-laba merangkak situs mirip dengan berikut ini:

1. Robot meminta file /robots.txt Anda dan mencari "User- Agen: "yang merujuk secara khusus.
   • Jika ia menemukan sebuah entri untuk dirinya sendiri, seperti "agen pengguna: WebRobot," kemudian mengikuti aturan-aturan yang berkaitan dengan itu.
   • Jika ini tidak menemukan sebuah entri untuk dirinya sendiri, kelihatannya untuk global seperangkat aturan, seperti "Agen pengguna: *," dan mematuhi aturan-aturan.
   • Jika Robot memiliki entri untuk dirinya sendiri dan global seperangkat aturan juga hadir, Robot aturan pribadi akan menggantikan aturan global.
2. Aturan untuk agen pengguna ditetapkan sebagai "Disallow:" pernyataan yang memberitahu robot di mana itu tidak dapat mencari. Pernyataan disallow diterapkan untuk alamat yang mungkin diminta oleh Robot. Untuk contoh:
   • "Disallow: / test" menyebabkan Web laba-laba untuk mengabaikan /test/index.htm, dan seterusnya.
   • "Disallow: /" menyebabkan Web Laba-laba untuk mengabaikan seluruh situs; kadang-kadang hal ini diinginkan.
   • "Disallow:" memungkinkan Web laba-laba untuk merangkak seluruh situs.
3. Garis yang dimulai dengan simbol pon (#) menunjukkan komentar, yang sangat berguna ketika membuat lama menetapkan aturan.Contoh
   
   
   • Contoh ini dilarang semua Web laba-laba untuk seluruh situs:

     # Make changes for all web spiders
     User-agent: *
     Disallow: / 
     						

   • Contoh berikut dilarang Robot bernama "WebSpider" dari jalan virtual "/ pemasaran" dan "/ penjualan":

     # Tell "WebSpider" where it can't go
     User-agent: WebSpider
     Disallow: /marketing
     Disallow: /sales
     
     # Allow all other robots to browse everywhere
     User-agent: *
     Disallow:
     						

   • Contoh ini memungkinkan hanya Web Spider yang bernama "SpiderOne" ke sebuah situs, Sementara menyangkal semua laba-laba lain:

     # Allow "SpiderOne" in the site
     User-agent: SpiderOne
     Disallow:
     
     # Deny all other spiders
     User-agent: *
     Disallow: / 
     						

   • Contoh terakhir ini dilarang FrontPage yang berhubungan dengan jalan di akar situs Web:

     # Ignore FrontPage files
     User-agent: *
     Disallow: /_borders
     Disallow: /_derived
     Disallow: /_fpclass
     Disallow: /_overlay
     Disallow: /_private
     Disallow: /_themes
     Disallow: /_vti_bin
     Disallow: /_vti_cnf
     Disallow: /_vti_log
     Disallow: /_vti_map
     Disallow: /_vti_pvt
     Disallow: /_vti_txt
     						

Untuk informasi lebih lanjut tentang menulis file Robots.txt, lihat berikut Situs web: