Wie funktionieren Suchmaschinen?

Artikel aktualisiert von Joel Lee am 10.10.2017

Für viele Google ist das Internet. Es ist der Ausgangspunkt für die Suche nach neuen Websites und ist wohl die wichtigste Erfindung seit dem Internet. Ohne Suchmaschinen wären neue Webinhalte für die Massen nicht zugänglich.

Aber wissen Sie, wie Suchmaschinen funktionieren? Jede Suchmaschine hat drei Hauptfunktionen: Crawlen (zum Ermitteln von Inhalt), Indexieren (zum Nachverfolgen und Speichern von Inhalt) und Abrufen (zum Abrufen relevanter Inhalte, wenn Benutzer die Suchmaschine abfragen)..

Krabbeln

Im Krabbeln beginnt alles: die Erfassung von Daten über eine Website.

Dazu gehört das Scannen von Websites und das Sammeln von Details zu jeder Seite: Titel, Bilder, Schlüsselwörter, andere verknüpfte Seiten usw. Unterschiedliche Crawler können auch nach anderen Details suchen, z. B. Seitenlayouts, wo Anzeigen platziert werden, ob Links eingepackt sind usw..

Aber wie wird eine Website gecrawlt?? Ein automatisierter Bot (genannt a “Spinne”) besucht Seite für Seite so schnell wie möglich und verwendet Seitenlinks, um herauszufinden, wohin es als nächstes gehen soll. Bereits in den ersten Tagen konnten Googles Spinnen mehrere hundert Seiten pro Sekunde lesen. Heutzutage sind es Tausende.

Wenn ein Webcrawler eine Seite besucht, sammelt er jeden Link auf der Seite und fügt sie der Liste der nächsten zu besuchenden Seiten hinzu. Es geht zur nächsten Seite in seiner Liste, sammelt die Links auf Das Seite und wiederholt. Web-Crawler besuchen auch ab und zu vergangene Seiten erneut, um festzustellen, ob Änderungen aufgetreten sind.

Dies bedeutet, dass jede Site, die von einer indizierten Site verlinkt wird, schließlich gecrawlt wird. Einige Sites werden häufiger gecrawlt und andere werden in größere Tiefen gecrawlt, aber manchmal gibt ein Crawler auf, wenn die Seitenhierarchie einer Site zu komplex ist.

Um zu verstehen, wie ein Web-Crawler funktioniert, können Sie ihn selbst erstellen. Wir haben ein Tutorial zum Erstellen eines grundlegenden Webcrawlers in PHP geschrieben. Prüfen Sie also, ob Sie Programmiererfahrung haben.

Beachten Sie, dass Seiten als markiert werden können “noindex,” Das ist, als würde man Suchmaschinen bitten, die Indizierung zu überspringen. Nicht indizierte Teile des Internets werden als “Deep Web” Was ist das Deep Web? Es ist wichtiger als Sie denken, was das Deep Web ist? Es ist wichtiger als du denkst Das tiefe Netz und das dunkle Netz klingen beängstigend und schändlich, aber die Gefahren wurden übertrieben. Hier ist, was sie tatsächlich sind und wie Sie selbst darauf zugreifen können! Lesen Sie mehr, und einige Websites, wie die im TOR-Netzwerk gehosteten, können nicht von Suchmaschinen indiziert werden. (Was ist TOR und Zwiebel-Routing? Was ist Zwiebel-Routing, genau? [MakeUseOf erklärt) Was ist Zwiebel-Routing, [MakeUseOf Explains]. Internet-Privatsphäre. Anonymität war eines der größten Merkmale des Internets in seiner Jugend (oder eines von ihnen) je nachdem, wen Sie fragen, ist es am schlimmsten.) Lassen Sie die Probleme, die sich daraus ergeben, beiseite.

Indizierung

Indizierung ist, wenn die Daten einer Durchforstung verarbeitet und in einer Datenbank abgelegt werden.

Stellen Sie sich vor, Sie erstellen eine Liste aller Bücher, deren Herausgeber, Autoren, Genres, Seitenzahlen usw. Sie können beim Durchsuchen der einzelnen Bücher während der Indizierung durchforsten, wenn Sie sie in Ihre Liste eintragen.

Stellen Sie sich vor, es ist nicht nur ein Raum voller Bücher, sondern jede Bibliothek der Welt. Dies ist eine kleine Version von dem, was Google tut. Er speichert all diese Daten in großen Rechenzentren mit Tausenden von Petabyte-Laufwerken. Erläuterte Speichergrößen: Gigabytes, Terabytes und Petabytes im Kontext der angegebenen Speichergrößen: Gigabytes, Terabytes und Petabytes im Kontext Es ist leicht zu sehen, dass 500 GB mehr als 100 GB sind. Aber wie lassen sich verschiedene Größen vergleichen? Was ist ein Gigabyte zu einem Terabyte? Wo passt ein Petabyte hin? Lass es uns klären! Weiterlesen .

Hier ist ein Blick in eines der Such-Rechenzentren von Google:

Abruf und Rangfolge

Abruf erfolgt, wenn die Suchmaschine Ihre Suchabfrage verarbeitet und die relevantesten Seiten zurückgibt, die Ihrer Suchanfrage entsprechen.

Die meisten Suchmaschinen unterscheiden sich durch ihre Suchmethoden: Sie verwenden verschiedene Kriterien, um auszuwählen, welche Seiten am besten zu dem passen, was Sie suchen. Das ist der Grund, warum die Suchergebnisse zwischen Google und Bing variieren und warum Wolfram Alpha so einzigartig nützlich ist. 10 Cool Uses von Wolfram Alpha, wenn Sie in der englischen Sprache lesen und schreiben. 10 Cool Uses von Wolfram Alpha, wenn Sie in der englischen Sprache lesen und schreiben, was es brauchte Ich habe einige Zeit, mich mit Wolfram Alpha zu beschäftigen und die Abfragen zu verwenden, um diese Ergebnisse auszusprechen. Sie müssen tief in Wolfram Alpha eintauchen, um es wirklich zu nutzen, um… Read More .

Ranking-Algorithmen überprüfen Ihre Suchanfrage Milliarden von Seiten, um die Relevanz eines jeden zu bestimmen. Unternehmen schützen ihre Ranking-Algorithmen aufgrund ihrer Komplexität als patentierte Branchengeheimnisse. Ein besserer Algorithmus führt zu einem besseren Sucherlebnis.

Sie möchten auch nicht, dass Web-Ersteller das System spielen und auf unfaire Weise zu den Spitzen der Suchergebnisse gelangen. Wenn die interne Methodik einer Suchmaschine jemals herauskam, würden alle Arten von Menschen dieses Wissen sicherlich zum Nachteil von Suchern wie Ihnen und mir nutzen.

Suchmaschinenausnutzung ist natürlich möglich, aber nicht mehr so ​​einfach.

Ursprünglich stuften Suchmaschinen die Websites nach der Häufigkeit der Keywords auf einer Seite ein “Keyword-Füllung” - Seiten füllen mit Keyword-Schwerem Quatsch.

Dann kam das Konzept der Link-Wichtigkeit: Suchmaschinen bewerteten Sites mit vielen eingehenden Links, weil sie die Site-Popularität als Relevanz interpretierten. Dies führte jedoch dazu, dass Spam im gesamten Web verlinkt wurde. Heutzutage gewichten Suchmaschinen Links je nach “Behörde” der verlinkenden Seite. Suchmaschinen legen mehr Wert auf Links von Regierungsbehörden als Links von Linkverzeichnissen.

Heutzutage sind Ranking-Algorithmen geheimnisvoller als je zuvor, und “Suchmaschinenoptimierung” Demystify SEO: 5 Leitfäden für Suchmaschinenoptimierung, die Ihnen den Einstieg erleichtern Demystify SEO: 5 Leitfaden für Suchmaschinenoptimierung, die Sie beim Start unterstützen Die Beherrschung von Suchmaschinen erfordert Wissen, Erfahrung und jede Menge Versuch und Irrtum. Sie können die Grundlagen erlernen und häufige SEO-Fehler mithilfe vieler im Web verfügbarer SEO-Handbücher vermeiden. Lesen Sie mehr ist nicht so wichtig. Gute Platzierungen in Suchmaschinen basieren jetzt auf qualitativ hochwertigen Inhalten und großartigen Benutzererfahrungen.

Was kommt als nächstes für Suchmaschinen??

Ah, jetzt gibt es eine interessante Frage. Die Antwort ist “Semantik”: das Bedeutung vom Inhalt der Seite. Mehr darüber erfahren Sie in unserer Übersicht über semantisches Markup und seine zukünftigen Auswirkungen. Was semantisches Markup ist und wie es das Internet für immer verändern wird [Technologie erklärt] Was semantisches Markup ist und wie es das Internet für immer verändern wird [Technologie erklärt] Lesen Sie weiter .

Aber hier ist der Kern davon.

Jetzt können Sie suchen “glutenfreie kekse” Die Ergebnisse können jedoch Rezepte für glutenfreie Cookies enthalten. Stattdessen finden Sie möglicherweise regelmäßige Cookie-Rezepte, die besagen “Dieses Rezept ist nicht glutenfrei.” Es hat die richtigen Schlüsselwörter, aber die falsche Bedeutung.

Mit der Semantik können Sie nach Keksrezepten suchen und bestimmte Zutaten entfernen: Mehl, Nüsse usw. Sie können die Ergebnisse auch auf Rezepte mit Vorbereitungszeiten von weniger als 30 Minuten einschränken und Werte von 4/5 oder höher überprüfen. Das wäre cool, oder? Da gehen wir hin!

Noch immer verwirrt, wie Suchmaschinen funktionieren? Sehen Sie, wie Google den Prozess erklärt:

Wenn Sie dies interessant fanden, möchten Sie vielleicht auch erfahren, wie Bild Suchmaschinen funktionieren.

Bild-Gutschrift: prykhodov / Depositphotos

Erfahren Sie mehr über: Google Analytics, Google Search, Web Search.