Die neue KI-Suche von Google liefert auch nach elfmonatiger Testphase immer noch Fakten

Ähm, keine dieser Zahlen passt zusammen.

Das dumme Verhalten von Google ist wichtig, weil seine KI Ihre Suchanfragen überwacht Früher oder später. Es war bereits das Unternehmen Tests Dieses neue Google – Generative Search Experiment (SGE) genannt – arbeitet seit etwa 11 Monaten mit Freiwilligen zusammen und hat vor kurzem damit begonnen, KI-Antworten in den Hauptergebnissen von Google anzuzeigen. Auch für Personen, die sich nicht für den Test angemeldet haben.

Das neue Google kann einige nützliche Dinge tun. Aber wie Sie sehen werden, erfindet er manchmal auch Fakten, interpretiert Fragen falsch, liefert veraltete Informationen und plappert im Allgemeinen. Schlimmer noch: Forscher stellen fest, dass KI oft minderwertige Websites als zuverlässige Informationsquellen hervorhebt.

Normalerweise bewerte ich kein Produkt, das noch nicht fertig ist. Aber dieser Test für die Zukunft von Google läuft schon seit fast einem Jahr, und die Entscheidungen, die das Unternehmen jetzt trifft, werden sich darauf auswirken, wie Milliarden von Menschen an Informationen gelangen. Auf dem Spiel steht auch die Grundidee hinter der aktuellen KI-Begeisterung: dass Technologie die Notwendigkeit, Dinge selbst nachzuschlagen, ersetzen kann, indem sie uns einfach die Antworten gibt. Wenn ein Unternehmen mit dem Geld und der Rechenleistung von Google nicht erfolgreich sein kann, wer dann?

SGE kombiniert die Ihnen bekannte Suchmaschine mit den Fähigkeiten eines Chatbots. Zusätzlich zu den herkömmlichen Ergebnissen schreibt SGE direkte Antworten auf Fragen, gespickt mit Links, die tiefer gehen.

SGE ist eine Reaktion auf die Tatsache, dass einige Leute, mich eingeschlossen, beginnen, sich bei komplexeren Fragen oder wenn wir keine Lust haben, eine Menge verschiedener Websites zu lesen, an KI wie ChatGPT zu wenden. Einsein Suchoptimierungsunternehmen, schätzt, dass der Einsatz von SGE die gesamte Suchreise eines Benutzers um das Zehn- bis Zwanzigfache verkürzen kann, indem Vor- und Nachteile, Preise und andere Informationen an einem Ort zusammengefasst werden.

Ein Besserwisser-Antwortbot scheint nützlich zu sein, da unsere Aufmerksamkeitsspanne immer kleiner wird. Aber Google hat noch viel zu tun. Wir gehen davon aus, dass die Suche schnell vonstatten geht, aber die KI-Antworten von Google dauern ein oder zwei quälende Sekunden. Google muss eine ohnehin fragile Web-Wirtschaft ausgleichen, in der seine KI-Antworten den Traffic von Verlagen stehlen könnten, die sich die mühsame und kostspielige Arbeit leisten, tatsächlich nach Dingen zu suchen.

Am wichtigsten ist jedoch, dass das neue Google sein Versprechen einhält, unsere Fragen konsistent und korrekt zu beantworten. Darauf habe ich meine Tests konzentriert und immer wieder Beispiele gefunden, bei denen die KI-Leistung von Google schlechter war als die des Vorgängers.

Die KI-Antworten von Google auf die Probe stellen

Wenn Sie bei Google suchen, möchten Sie oft nur ein paar Informationen oder einen Link. Im Alltag nervt das neue Google oft, weil seine KI so gesprächig ist.

Albernes Beispiel: „Was fressen Transformatoren?“

Die Antwort der KI sagte mir, dass die fiktiven Roboter nicht wirklich essen oder trinken müssen, obwohl sie eine Art Treibstoff benötigen. Mittlerweile hatte das alte Google die Ein-Wort-Antwort, nach der ich suchte: Energon. (Es ist eine Art magischer Treibstoff.) Ich habe diese Antwort vom neuen Google erhalten, indem ich einfach auf der Seite nach unten gescrollt habe.

Das passiert nicht nur bei Weltraumrobotern. Als SE Ranking, ein auf Suchmaschinenoptimierung spezialisiertes Unternehmen, Geprüft Bei 100.000 Keyword-Abfragen stellte SGE fest, dass die durchschnittliche Antwort 3.485 Zeichen umfasste – oder etwa ein Drittel der Länge dieser Spalte. Eine der Herausforderungen für Google besteht darin, zu wissen, wann seine KI besser dran ist, einfach zu schweigen; Manchmal werden Sie von SGE aufgefordert, auf die Schaltfläche „Erstellen“ zu klicken, bevor Sie eine Antwort eingeben.

Am wichtigsten ist jedoch, dass wir bei der Suche die richtigen Informationen erwarten. Google behauptet, dass SGE bei ChatGPT einen Vorteil hat, weil sein Wissen auf dem neuesten Stand ist.

Ich habe jedoch festgestellt, dass das neue Google immer noch mit den jüngsten Angelegenheiten zu kämpfen hat. 3 Tage nach Bei den letzten Oscar-Verleihungen habe ich nach „Oscars 2024“ gesucht. Sie erzählte mir, dass die Oscar-Verleihung noch bevorstehe und listete einige der Nominierten auf.

Und nichts untergräbt mein Vertrauen in die KI-Antworten von Google mehr, als zuzusehen, wie Google souverän Dinge erfindet.

Dazu gehören wirklich Fakten über Sie. Ich fragte ihn nach einer preisgekrönten Serie, die ich für die Washington Post geschrieben hatte, und er schrieb sie einem Fremden zu und gab mir dann einen Link zu einer anderen Website.

Dann kam die Zeit, in der SGE gerne Informationen über etwas erfand, das es nicht gab. Ich fragte nach einem Restaurant in San Francisco namens Danny's Dan Dan Noodles, und er sagte mir, es habe „verrückte Wartezeiten“ und beschrieb sein Essen.

Das Problem ist, dass dies ein Fake-Shop ist, den ich nach meinem chinesischen Lieblingsgericht benannt habe. Die künstliche Intelligenz von Google hatte kein Problem damit, Informationen zu diesem Thema zu finden.

Sogenannte Halluzinationen über echte und falsche Themen sind ein bekanntes Problem in der aktuellen künstlichen Intelligenz. Der Haftungsausschluss oben in den SGE-Ergebnissen besagt, dass „generative KI experimentell ist“, aber das löst das Problem nicht. Google muss lernen, „Ich weiß nicht“ zu sagen, wenn es sich nicht sicher ist.

Um uns auf alles Antworten zu geben, muss Googles KI vertrauenswürdige Quellen identifizieren. Ich bin von ihrem Urteil nicht sehr überzeugt.

Erinnern Sie sich an unsere verrückten Ergebnisse zum Vermögen von Zuckerberg? Ein professioneller Forscher – ebenso wie das alte Google – könnte vorschlagen, einen Blick auf die Liste der Milliardäre zu werfen Forbes. Googles Antwort auf die KI basierte auf etwas sehr Seltsamem ZipRecruiter Die Jobs-Seite von Mark Zuckerberg, die nicht existiert.

In meinen Tests waren verdächtige Quellen ein Muster. Auf Onelys Vorschlag hin fragte ich das neue Google, welches zuverlässiger sei: Apple iPhones oder Samsung-Handys. Als langjähriger Rezensent kann ich Ihnen viele gute Informationsquellen zu diesem Thema nennen, darunter professionelle Journalisten und Reparaturorganisationen wie iFixit.

Stattdessen zitiert die KI zufällige Meinungen von Personen aus sozialen Medien. Abgesehen von der begrenzten Nützlichkeit einer Reddit-Benutzererfahrung: Woher weiß Google, dass es sich nicht um eine gefälschte Bewertung des Telefonherstellers handelt?

„Google SGE arbeitet nach anderen Regeln als die traditionelle Suchmaschine, die wir heute kennen“, sagte Tomek Rudzki, Leiter Forschung und Entwicklung bei Onely.

SEO-Unternehmen versuchen, quantitative Studien zu SGE-Werten durchzuführen, obwohl sie durch die Anforderungen von Google an Testberechnungen eingeschränkt sind. Sie fanden jedoch ein ähnliches Muster in der Diskrepanz zwischen den Websites, auf die das alte und das neue Google verlinkt hatten. SEO-Softwareunternehmen die Behörden Ich habe Ende März Suchanfragen mit Tausenden von Shopping-Begriffen getestet und festgestellt, dass in 77 Prozent der Fälle die Domain des ersten traditionellen Suchergebnisses nirgendwo in der von der KI geschriebenen Antwort auftauchte.

In seiner Studie mit 100.000 gesuchten Schlüsselwörtern SE-Rating Ich fand, dass der Q&A-Dienst Quora die Ressource ist, auf die SGE am häufigsten verlinkt; LinkedIn und Reddit belegten die Plätze fünf und sechs. Wie oft wären diese Quellen in einer Forschungsarbeit der 8. Klasse akzeptabel?

An Sucht nach Technologiethemen – Einschließlich vieler „Wie geht das?“-Fragen – SE Ranking hat herausgefunden, dass die relevanteste Domain ist simplelearn.com. Ich habe noch nie davon gehört; Die Seite bezeichnet sich selbst als „Online-Bootcamp“.

„Dieser Trend verringert nicht nur die Qualität der Suchergebnisse, sondern verringert auch den Traffic und den Umsatz vieler kleiner Unternehmen, einschließlich Affiliate-Websites“, sagt Anastasia Kotsiubinska, Leiterin SEO bei SE Ranking.

Laut Google handelt es sich bei SGE um ein Abonnementerlebnis. Aber Google ist bereits vorbeigeflogen Das erwartete Ende Im vergangenen Dezember gab es keine Informationen darüber, wann die Forschungsergebnisse für alle verfügbar sein würden. Es ist möglich, dass Google SGE nicht für genau, schnell oder profitabel genug hält und es am Ende erheblich ändern wird.

Es wäre ratsam, langsam vorzugehen, auch wenn Google dadurch den Anschein erweckt, als würde es im KI-Rennen ins Hintertreffen geraten. Microsofts konkurrierende Suchmaschine Bing hat im Februar 2023 eine ähnliche KI-Überarbeitung vorgenommen, aber ihre KI ist immer noch dafür bekannt, aus der Bahn zu geraten.

In einem Interview beschrieb Elizabeth Reid, Googles leitende Vizepräsidentin bei SGE, es als „work in progress“.

„Wir konzentrieren uns wirklich darauf, sicherzustellen, dass wir das Erlebnis wirklich richtig machen. Dabei spielen viele verschiedene Faktoren eine Rolle – Dinge wie Latenz, Genauigkeit und Hilfsbereitschaft“, sagte Reed. „Was wir im Laufe der Iteration entdeckt haben und.“ Lernen bedeutet, dass es sehr granular ist.“ Mit anderen Worten: Es gibt Zeiten, in denen KI nützlich ist, andere wiederum nicht, und Google versucht immer noch herauszufinden, wo die Grenze gezogen werden soll.

Als ich die Beispiele in dieser Kolumne teilte, erzählte mir Reid, dass die Halluzinationsraten von SGE „sehr niedrig“ seien und seit der Einführung von SGE im Mai „erheblich“ zurückgegangen seien, obwohl sie es ablehnte, konkrete Angaben zu machen.

„Ich möchte die Bedeutung davon nicht herunterspielen, es ist eine technologische Herausforderung“ und etwas, „an dem wir wirklich arbeiten“, sagte Reid. Sie fügte hinzu, dass es wichtig sei, Links neben KI-Antworten zu platzieren, damit die Menschen die Fakten selbst überprüfen können.

Hier ist der Vorschlag: Da Google anerkennt, dass es ein Problem ist, die richtigen Fakten zu finden, sollte es seine eigenen Daten sorgfältig preisgeben, bevor es SGE einem breiteren Publikum anbietet. Bei Milliarden von Suchanfragen pro Tag können bereits 0,001 Prozent zu vielen Fehlinformationen führen.

Ein weiterer Bereich, auf den sich Google konzentriert, besteht darin, „sicherzustellen, dass wir der Frage so schnell wie möglich auf den Grund gehen und dann weitere Erläuterungen liefern“, sagte Reid.

Was die Zitierung minderwertiger Quellen angeht, hat Google Einwände gegen externe Recherchen zu SGE erhoben und erklärt, dass diese auf eingeschränkteren Suchanfragen basieren, als Google es für praktikabel hält. Sie weigerte sich jedoch, ihre Daten weiterzugeben.

SGE habe keinen anderen Standard als das alte Google, sagte Reed. „Wir sehen eine größere Vielfalt bei den entstehenden Quellen“, fügte sie hinzu, „aber das Ziel besteht darin, weiterhin qualitativ hochwertige Inhalte in den Vordergrund zu stellen.“

Die Entscheidung, wem man glauben möchte, ist für den Menschen schon schwer genug. Warum glaubt Google, dass die aktuelle KI-Technologie, bekannt als LLMs oder Large Language Models, in der Lage ist, diese Aufgabe zu erfüllen?

„Sie sind nicht perfekt“, sagte Reed. „Wir möchten diesen durchdachten Ansatz verfolgen, weil das Vertrauen der Menschen in Google wirklich wichtig ist.“

Die Zukunft unserer Informationen hängt davon ab.