Indizierung ist der Prozess des Scannens von Dateien, die sich auf einer Internetressource befinden, durch einen Suchroboter. Dieses Verfahren wird durchgeführt, damit die Site in den Suchergebnissen für verschiedene Suchanfragen in der Suchmaschine verfügbar ist. Zu den größten Suchmaschinen gehört heute Yandex, das diesen Scan auf seine eigene Weise durchführt.
Anleitung
Schritt 1
Die Indexierung der Internet-Site erfolgt durch spezielle automatische Programme - Suchroboter, die automatisch das Erscheinen neuer Sites im World Wide Web verfolgen und ständig im Internet befindliche Internetseiten, Dateien und Links zu ihnen auf jeder Ressource scannen.
Schritt 2
Zum Scannen geht der Roboter in das Verzeichnis, in dem sich die Ressource auf einem bestimmten Server befindet. Bei der Auswahl eines neuen Standorts orientiert sich der Roboter an seiner Verfügbarkeit. Es gibt beispielsweise die Meinung, dass Yandex zuerst Websites scannt, die in einer russischsprachigen Domain und in Russisch erstellt wurden - ru, rf, su oder ua - und erst dann in andere Regionen wechselt.
Schritt 3
Der Roboter navigiert zur Site und scannt ihre Struktur, wobei er zunächst nach Dateien sucht, die eine weitere Suche anzeigen. Beispielsweise wird eine Site nach Sitemap.xml oder robots.txt durchsucht. Mit diesen Dateien kann das Verhalten des Suchroboters beim Scannen eingestellt werden. Anhand der Sitemap (sitemap.xml) bekommt der Roboter eine genauere Vorstellung von der Struktur der Ressource. Der Webmaster verwendet robots.txt, um Dateien zu definieren, die er nicht in Suchergebnissen anzeigen möchte. Dies können beispielsweise personenbezogene Daten oder andere unerwünschte Daten sein.
Schritt 4
Nachdem er diese beiden Dokumente gescannt und die erforderlichen Anweisungen erhalten hat, beginnt der Roboter, den HTML-Code zu parsen und die empfangenen Tags zu verarbeiten. Wenn keine robots.txt-Datei vorhanden ist, beginnt die Suchmaschine standardmäßig mit der Verarbeitung aller auf dem Server gespeicherten Dokumente.
Schritt 5
Durch Anklicken von Links in Dokumenten erhält der Roboter auch Informationen über andere Websites, die nach dieser Ressource zum Scannen in die Warteschlange gestellt werden. Die gescannten Dateien auf der Site werden als Textkopie und Struktur auf Servern in Yandex-Rechenzentren gespeichert.
Schritt 6
Auch die Notwendigkeit des erneuten Scannens wird von Robotern automatisch ermittelt. Das Programm vergleicht das vorhandene Scanergebnis mit der aktualisierten Version der Site, wenn es die Indizierung erneut durchläuft. Wenn sich die vom Programm empfangenen Daten unterscheiden, wird die Site-Kopie auch auf dem Yandex-Server aktualisiert.
