Como escrever um ficheiro robots.txt

Spiders Web, frequentemente denominados robots, são motores de procura WWW "pesquisar" nas páginas Internet e o índice em servidores Web. Uma Spider Web, em seguida, irá essas informações do catálogo e disponibilizar à Internet para procurar. Isto facilita aos utilizadores a localizar informações específicas na Internet, permitindo que "uma paragem compras" através WWW site do Spider. Robots a maior parte dos também dar prioridade documentos que estão na Internet, permitindo resultados da procura organizados pela ordem de correspondências provavelmente uma procura ou "classificados".

Um ficheiro robots.txt é um ficheiro de texto especial que está sempre localizado no directório de raiz do servidor Web. Este ficheiro contém restrições para Web Spiders, informando-os onde têm permissão para procurar. Saliente se que Web Robots não são necessários para respeitar ficheiros robots.txt, mas mais consultar Spiders Web seguem as regras que definir.

Um robot identifica-se quando navega seu site, que é conhecido como "User-agent" e é apresentado nos registos de para o IIS. Geralmente, o fluxo de eventos quando uma Spider Web percorre o site é semelhante à seguinte:

1. O robot pede para o ficheiro /robots.txt e procure um "agente de utilizador:" linha refere-se especificamente ao mesmo.
   • Se encontrar uma entrada para ela própria, como, por exemplo, "user-agent: WebRobot,", em seguida, que segue as regras pertencentes ao mesmo.
   • Se é não encontrar uma entrada para ela própria, parece um conjunto global de regras, como, por exemplo, "user-agent: *," e obedece essas regras.
   • Se o robot tem uma entrada para si próprio e um conjunto global de regras também estiver presente, pessoais regras o robot substituirá as regras globais.
2. Regras para um agente de utilizador configuradas como "não permitir:" instruções que indicam um robot onde não é possível localizar. Uma instrução de disallow é aplicada a qualquer endereço que foram solicitado pelo robot. Por exemplo:
   • "Não permitir: / teste" faz com que uma Spider Web ignorar /test/index.htm e assim sucessivamente.
   • "Não permitir: /" faz com que uma Spider Web Ignorar todo o site; por vezes é desejável.
   • "Não permitir:" permite uma Spider Web ser pesquisado todo o site.
3. Linhas que começam com o símbolo de cardinal (#) indicam os comentários, que podem ser útil quando criar longo conjuntos de exemplos de regras.
   
   
   • Este exemplo não permite todas as Spiders Web para todo o site:

     # Make changes for all web spiders
     User-agent: *
     Disallow: / 
     						

   • O exemplo seguinte não permite a um robot denominado "WebSpider" da caminhos virtuais "/ marketing" e "/ vendas":

     # Tell "WebSpider" where it can't go
     User-agent: WebSpider
     Disallow: /marketing
     Disallow: /sales
     
     # Allow all other robots to browse everywhere
     User-agent: *
     Disallow:
     						

   • Neste exemplo permite apenas uma Spider Web denominado "SpiderOne" num site, ao negar todos os outros spiders:

     # Allow "SpiderOne" in the site
     User-agent: SpiderOne
     Disallow:
     
     # Deny all other spiders
     User-agent: *
     Disallow: / 
     						

   • Este último exemplo não permite caminhos relacionados com o FrontPage na raiz do Web site:

     # Ignore FrontPage files
     User-agent: *
     Disallow: /_borders
     Disallow: /_derived
     Disallow: /_fpclass
     Disallow: /_overlay
     Disallow: /_private
     Disallow: /_themes
     Disallow: /_vti_bin
     Disallow: /_vti_cnf
     Disallow: /_vti_log
     Disallow: /_vti_map
     Disallow: /_vti_pvt
     Disallow: /_vti_txt
     						

Para mais informações sobre como escrever ficheiros robots.txt, consulte os seguintes Web sites: