Die Seiten jeder Site werden regelmäßig von Suchrobotern gecrawlt, die die Informationen auf der Site so verarbeiten, dass sie auf Anfrage der Benutzer in Suchmaschinen verfügbar sind. Besuche von Besuchern von Suchmaschinen wirken sich positiv auf den Site-Traffic aus und stimulieren die Entwicklung der Ressource. Wenn es jedoch Seiten auf der Website gibt, deren Informationen nicht für das Internetpublikum bestimmt sind (z. B. die persönlichen Seiten der Benutzer oder die Registrierungsseite), ist der Übergang von Suchmaschinen zu solchen Seiten nicht erforderlich und es Es ist besser, diese Informationen von der Indizierung zu verbieten.
Notwendig
- - eine eigene Website haben
- - die Links zu den Seiten zu kennen, deren Indexierung verboten werden sollte.
- - mindestens Grundkenntnisse in HTML haben
Anweisungen
Schritt 1
Um zu verhindern, dass der Suchroboter bestimmte Seiten der Site indiziert, müssen Sie Änderungen an der Datei robots.txt vornehmen, falls diese bereits auf Ihrer Site vorhanden ist, oder diese Datei erstellen.
Schritt 2
Wenn die Datei robots.txt bereits auf die Site hochgeladen wurde und diese Datei direkt über das Ressourcen-Steuerungsfeld bearbeitet werden kann, öffnen Sie robots.txt zur Bearbeitung über den Webdienst.
Schritt 3
Wenn es keine Möglichkeit gibt, direkt über das Control Panel Änderungen an der gewünschten Datei vorzunehmen, öffnen Sie die robots.txt in einem Browser, indem Sie auf den Link zu dieser Datei klicken. Kopieren Sie alle Daten von der geöffneten Seite und fügen Sie sie in das Blatt im Editor ein.
Schritt 4
Wenn auf der Website keine robots.txt vorhanden ist, öffnen Sie das Programm "Notepad", in dessen neuem Dokument Sie den erforderlichen Code eingeben müssen.
Schritt 5
Schreiben Sie auf ein leeres Blatt Textdokument die erste erforderliche Zeile:
User-Agent: *
Schritt 6
Gehen Sie dann durch Drücken der Eingabetaste in die nächste Zeile und geben Sie den folgenden Code ein:
Disallow: /index /page3Disallow: zeigt keine Indizierung an und /index /page3 ist ein Link zu einer Seite, die nicht indiziert werden muss. Fügen Sie anstelle des Links / Index / Seite3 einen Link zu der Seite Ihrer Website ein, die Sie für die Verarbeitung durch Robots sperren möchten.
Schritt 7
Beachten Sie, dass der Domänenname selbst am Anfang des Links fehlt; sein Vorhandensein im Eintrag impliziert den Schrägstrich. Beim Crawlen einer Site fügt ein Suchroboter automatisch einen Domainnamen in solche Links ein. Schreiben Sie daher auf diese Weise Links zu den erforderlichen Seiten.
Schritt 8
Nach Disallow: Sie können nicht nur einen Link zu einer bestimmten Seite platzieren, sondern auch einen Link zu einem beliebigen Abschnitt oder Verzeichnis der Site. Ebenso können Sie die Indexierung des gewünschten Teils der Site untersagen.
Schritt 9
Wenn es notwendig ist, die Verarbeitung von mehreren verschiedenen Abschnitten der Ressource durch Roboter zu verbieten, schreiben Sie einen Link zu jedem Abschnitt oder jeder Seite in eine neue Zeile, an deren Anfang der Eintrag Disallow: nicht vergessen wird.
Schritt 10
Um die Änderung der robots.txt abzuschließen, klicken Sie beim Bearbeiten der Datei im Control Panel auf die Schaltfläche "Speichern" oder speichern Sie ein Textdokument mit Einträgen unter dem Namen robots.txt und laden Sie diese Datei auf die Site hoch.
