Como gravar um arquivo robots.txt

Rastreadores da Web, chamados de robôs, são os mecanismos de pesquisa da Web que "rastrear" entre as páginas de índice e de Internet em servidores Web. Spider uma Web, em seguida, será que informações de catálogo e torne-disponíveis com a Internet para pesquisa. Isso torna mais fácil para os usuários localizar informações específicas na Internet, permitindo que "one-stop compras" através Web site da Spider. A maioria dos robôs também priorizar documentos que estão na Internet, permitindo que os resultados da pesquisa a ser "pontuados" ou organizados em ordem de mais prováveis em uma pesquisa.

Um arquivo robots.txt é um arquivo de texto especiais que sempre é localizado no diretório raiz de seu servidor Web. Este arquivo contém as restrições de rastreadores da Web, informando onde têm permissão para pesquisar. É preciso observar que Web Robots não são necessárias para respeitar arquivos robots.txt, mas mais bem escrito rastreadores da Web seguem as regras que você definir.

Um robô se identifica quando ele navega seu site, que é conhecido como "Usuário-agente" e aparece nos logs de para IIS. Geralmente, o fluxo de eventos quando uma Web Spider rastreia seu site é semelhante à seguinte:

1. O robô pede o arquivo /robots.txt e procura por um "agente de usuário:" linha que se refere especificamente a ele.
   • Se encontrar uma entrada para si, como "agente de usuário: WebRobot," em seguida, ele segue as regras que pertencem a ele.
   • Se é não encontrar uma entrada para si mesma, ele procura por um conjunto global de regras, como "agente de usuário: *," e obeys essas regras.
   • Se o robô tem uma entrada para si mesmo e um conjunto de regras global também está presente, regras de pessoais do robô substitui as regras globais.
2. Regras para um agente de usuário são configuradas como "não permitir:" instruções que informam a um robô onde ele não é possível pesquisar. Uma instrução de proibição é aplicada a qualquer endereço pode ter sido solicitado pelo robô. Por exemplo:
   • "Proibir: /Test" faz com que uma Web Spider ignorar /test/index.htm e assim por diante.
   • "Proibir: /" faz com que um Spider Web ignorar o site inteiro; às vezes isso é desejável.
   • "Proibir:" permite que um Spider Web rastrear todo o site.
3. Linhas que começam com o símbolo de libra (#) indicam comentários, que podem ser útil ao criar longo conjuntos de regras. exemplos
   
   
   • Este exemplo não permite a todos os rastreadores da Web para todo o site:

     # Make changes for all web spiders
     User-agent: *
     Disallow: / 
     						

   • O exemplo a seguir não permite um robô chamado "WebSpider" de caminhos virtuais "/ marketing" e "/ vendas":

     # Tell "WebSpider" where it can't go
     User-agent: WebSpider
     Disallow: /marketing
     Disallow: /sales
     
     # Allow all other robots to browse everywhere
     User-agent: *
     Disallow:
     						

   • Este exemplo permite que somente um Spider Web chamado "SpiderOne" em um site, ao negar todos os outros rastreadores:

     # Allow "SpiderOne" in the site
     User-agent: SpiderOne
     Disallow:
     
     # Deny all other spiders
     User-agent: *
     Disallow: / 
     						

   • Esse último exemplo não permite caminhos relacionadas no FrontPage a raiz do seu site:

     # Ignore FrontPage files
     User-agent: *
     Disallow: /_borders
     Disallow: /_derived
     Disallow: /_fpclass
     Disallow: /_overlay
     Disallow: /_private
     Disallow: /_themes
     Disallow: /_vti_bin
     Disallow: /_vti_cnf
     Disallow: /_vti_log
     Disallow: /_vti_map
     Disallow: /_vti_pvt
     Disallow: /_vti_txt
     						

Para mais informações sobre gravação de arquivos robots.txt, consulte os seguintes sites: