Robots.txt-Datei schreiben

Wir empfehlen allen Benutzern dringend ein Update auf die Version 7.0 von Microsoft-Internetinformationsdienste (IIS) unter Microsoft Windows Server 2008. IIS 7.0 verbessert die Sicherheit der Web-Infrastruktur erheblich. Weitere Informationen zu sicherheitsrelevanten Themen im Zusammenhang mit IIS finden Sie auf der folgenden Microsoft-Website:

Weitere Informationen zu IIS 7.0 finden Sie auf der folgenden Microsoft-Website:

Zusammenfassung

Web sind, Roboter bezeichnet WWW-Suchmaschinen, die "über das Internet und Indexseiten auf Webservern Crawlen". Web Spider wird katalogisiert Informationen und für die Suche im Internet verfügbar machen. Dies erleichtert Benutzern Informationen im Internet suchen "One-Stop-shopping" ermöglicht durch die Spider WWW-Site. Die meisten Robots priorisieren auch Dokumente, die auf das Internet Suchergebnisse "erzielte" oder sortierte Suche am ehesten entspricht. Eine Datei "robots.txt" ist eine spezielle Textdatei, die immer im Stammverzeichnis des Webservers befindet. Diese Datei enthält Einschränkungen Web Spinnen mitteilen, berechtigt sie zu suchen. Webrobots müssen nicht Robots.txt Dateien berücksichtigen, dass gut geschriebenen Web Spider Regeln definieren Sie hinzuweisen.

Weitere Informationen

Ein Roboter identifiziert sich, wenn sie Ihre Site durchsucht, bekannt als "User-Agent" erscheint in den Protokollen für IIS. Im Allgemeinen ist der Ablauf der Ereignisse beim Crawlen Ihrer Website von Web Spider ähnlich der folgenden:

  1. Robot fordert die Datei robots.txt und sucht nach einer "User-Agent:" Zeile darauf bezieht.

    • Findet es einen Eintrag für sich selbst, wie "Benutzer-Agent: WebRobot," und den Regeln folgt, die sie betreffen.

    • Wenn ist einen Eintrag nicht finden, gesucht, der globale Satz von Regeln, z. B. "User-Agent: *," und Vorschriften.

    • Ist der Robot einen Eintrag für sich selbst enthält und eine globale Gruppe von Regeln vorhanden, ersetzt der Robot persönlichen Regeln die globalen Regeln.

  2. Regeln für Benutzer-Agents als einrichten "Disallow:" Anweisung, die einen Roboter mitteilen, wo er suchen können. Sperren-Anweisung gilt für jede Adresse, die vom Robot angefordert wurden. Zum Beispiel:

    • "Nicht zulassen: / test" wird von Spider /test/index.htm ignorieren und so weiter.

    • "Nicht zulassen: /" wird ein Web Spider ignoriert die gesamte Site; Manchmal ist dies erwünscht.

    • "Nicht zuzulassen:" Web Spider durchsucht die gesamte Website ermöglicht.

  3. Zeilen, die mit dem Nummernzeichen (#) beginnen bezeichnen Kommentare werden beim Erstellen von langen von Regeln Sätze. Beispiele

    • In diesem Beispiel lässt alle Web Spider für den gesamten Standort:

      # Make changes for all web spidersUser-agent: *Disallow: / 
    • Das folgende Beispiel lässt einen Roboter namens "WebSpider" aus den virtuellen Pfaden "/ marketing" und "/ Vertrieb":

      # Tell "WebSpider" where it can't goUser-agent: WebSpiderDisallow: /marketingDisallow: /sales# Allow all other robots to browse everywhereUser-agent: *Disallow:
    • In diesem Beispiel kann nur ein Web Spider namens "SpiderOne" in eine Site andere Spinnen verweigern:

      # Allow "SpiderOne" in the siteUser-agent: SpiderOneDisallow:# Deny all other spidersUser-agent: *Disallow: / 
    • In diesem letzte Beispiel lässt FrontPage bezogene Pfade im Stammverzeichnis der Website:

      # Ignore FrontPage filesUser-agent: *Disallow: /_bordersDisallow: /_derivedDisallow: /_fpclassDisallow: /_overlayDisallow: /_privateDisallow: /_themesDisallow: /_vti_binDisallow: /_vti_cnfDisallow: /_vti_logDisallow: /_vti_mapDisallow: /_vti_pvtDisallow: /_vti_txt

Weitere Informationen zum Schreiben von Robots.txt-Dateien finden Sie auf folgenden Websites:

Benötigen Sie weitere Hilfe?

Ihre Office-Fähigkeiten erweitern
Schulungen erkunden
Neue Funktionen als Erster erhalten
Microsoft Insider beitreten

War diese Information hilfreich?

Vielen Dank für Ihr Feedback!

Vielen Dank für Ihr Feedback. Es klingt, als ob es hilfreich sein könnte, Sie mit einem unserer Office-Supportmitarbeiter zu verbinden.

×