Das im Juli gestartete Projekt von Cloudflare und OpenAI zielt darauf ab, Webseiten, die von klassischen Suchmaschinen möglicherweise übersehen werden, in den Suchindex von ChatGPT aufzunehmen. Im Mittelpunkt des Ansatzes steht nicht das Verfolgen von Links zwischen Webseiten, sondern die Nutzung von Signalen, die aus dem tatsächlichen Nutzerverkehr im Cloudflare-Netzwerk gewonnen werden.
Herkömmliche Web-Crawler finden neue Seiten meist, indem sie Links von anderen Seiten folgen. Obwohl diese Methode einen Großteil der sichtbaren Inhalte im Internet abdeckt, können einige Seiten ohne eingehende Links außerhalb der Suchergebnisse bleiben. Beispielsweise können Bedienungsanleitungen für Produkte, Speisekarten kleiner Unternehmen oder lokale Inhalte, die auf spezifische Bedürfnisse eingehen, unentdeckt bleiben, wenn sie nicht von anderen Seiten verlinkt werden.
Die neue Methode konzentriert sich auf Verkehrsmuster von Seiten, die tatsächlich von Nutzern besucht werden. Signale aus dem Cloudflare-Netzwerk helfen dabei, Hunderte Millionen von Seiten zu identifizieren, die herkömmliche Crawler nicht erreichen. Auf diese Weise soll ein breiterer und vielfältigerer Inhaltsindex für die ChatGPT-Suche erstellt werden.
EFFIZIENTERES CRAWLING DURCH VERKEHRSSIGNALE
Ein möglicher Vorteil dieses Modells ist die Reduzierung des Ressourcenverbrauchs durch automatisierte Crawler. Crawler senden gelegentlich Anfragen an Seiten, die nicht mehr existieren, an doppelte Inhalte oder an Adressen mit geringem Wert. Die Nutzung von Verkehrssignalen kann dazu beitragen, Crawling-Ressourcen effizienter zu nutzen, da sie aufzeigt, welche Seiten tatsächlich besucht werden.
Das Projekt ist auch im Hinblick auf Sicherheitsbewertungen bemerkenswert. Dass eine einzelne Seite einer Domain problematisch ist, bedeutet nicht zwangsläufig, dass die gesamte Website schädlich ist. Eine Bewertung auf Seitenebene könnte dazu beitragen, die Sichtbarkeit der übrigen Inhalte einer Website in der Suche zu erhalten. Details darüber, wie solche Unterscheidungen innerhalb des Projekts technisch umgesetzt werden, müssen jedoch noch geklärt werden.
Die Aufnahme weiterer Seiten in den Index könnte einen neuen Entdeckungskanal für Publisher und Website-Betreiber bedeuten. Dennoch bedeutet die Aufnahme in den Index nicht automatisch, dass mehr Besucher gewonnen werden. Der über ChatGPT auf Webseiten geleitete Verkehr, die Klickraten und die Frage, wie der Zugriff von KI-Crawlern auf Inhalte verwaltet wird, gehören zu den Themen, die den Erfolg des Projekts bestimmen werden.
Nachrichtenquelle: 12punto
