„60 Minutes“ hat eine erschreckend falsche Behauptung über einen Google-KI-Chatbot aufgestellt

Seit OpenAI ChatGPT in die Welt entfesselt hat, haben wir gesehen, dass es Leute braucht, denen Sie nicht glauben würden.

Einige Leute haben behauptet, dass Chatbots eine erwachte Agenda haben. Senator Chris Murphy (D-CT) twitterte, dass ChatGPT sich fortgeschrittene Chemie „beigebracht“ habe. Sogar erfahrene Tech-Journalisten haben Geschichten darüber geschrieben, wie es funktioniert Der Chatbot verliebte sich in sie. Es scheint, als würde die Welt auf die KI genauso reagieren, wie Höhlenmenschen wahrscheinlich reagiert haben, als sie zum ersten Mal Feuer sahen: mit völliger Verwirrung und zusammenhangslosem Geplapper.

Eines der jüngsten Beispiele stammt aus 60 Minuten, der seine Stimme mit einer neuen Folge in den Ring warf, die sich auf Innovationen in der künstlichen Intelligenz konzentrierte und am Sonntag auf CBS ausgestrahlt wird. Die Folge enthielt Interviews mit Personen wie Sundar Pichai, CEO von Google, und enthielt fragwürdige Inhalte Behauptungen über eines der großen Sprachmodelle (LLM) des Unternehmens.

In dem Segment geht es um emergentes Verhalten, das einen unerwarteten Nebeneffekt eines KI-Systems beschreibt, der nicht unbedingt von den Entwicklern des Modells beabsichtigt war. Wir haben bereits in anderen neueren KI-Projekten aufkommendes Verhalten gesehen. Beispielsweise haben Forscher kürzlich ChatGPT verwendet, um in einer letzte Woche online veröffentlichten Studie digitale Personas mit Zielen und Hintergrund zu erstellen. Sie stellen fest, dass das System verschiedene emergente Verhaltensweisen ausführt, wie z. B. das Teilen neuer Informationen von einem Charakter zum anderen und sogar das Herstellen von Beziehungen untereinander – etwas, das die Autoren ursprünglich nicht für das System geplant hatten.

Aufkommendes Verhalten ist sicherlich ein lohnendes Thema, um es in einer Nachrichtensendung zu diskutieren. wo ist das 60 Minuten Das Video nimmt jedoch eine Wendung, als wir von Behauptungen erfahren, dass der Chatbot von Google tatsächlich in der Lage war, sich selbst eine Sprache beizubringen, die er vorher nicht kannte, nachdem er in dieser Sprache gefragt wurde. „Zum Beispiel passte sich ein KI-Programm von Google selbst an, nachdem es dazu in der Sprache von Bangladesch aufgefordert wurde, die es nicht lernen konnte“, sagte Scott Pelley, Reporter von CBS News, in dem Video.

Es stellte sich heraus, dass sie ein kompletter BS war. Der Roboter konnte nicht nur eine Fremdsprache nicht lernen, die er „nie gelernt hat“, sondern er hat sich auch nie eine neue Fähigkeit beigebracht. Der gesamte Clip veranlasste KI-Forscher und Experten, das irreführende Framing der Nachrichtensendung auf Twitter zu kritisieren.

„Ich hoffe auf jeden Fall, dass einige Journalisten das gesamte @60Minute-Segment auf Google Bard als Fallstudie darüber betrachten, wie man KI *nicht* behandelt“, sagte Melanie Mitchell, KI-Forscherin und Professorin am Santa Fe Institute. schrieb er in einem Tweet.

„Hören Sie auf, über Technologie magisch nachzudenken! Es ist der #AI nicht möglich, auf Bengali zu antworten, es sei denn, die Trainingsdaten wurden mit Bengali kontaminiert oder in einer Sprache trainiert, die sich mit Bengali überschneidet, wie Assamesisch, Oriya oder Hindi“, sagte Ms. Alex o. Forscher am Massachusetts Institute of Technology, In einem anderen Beitrag hinzugefügt.

Es ist nichts wert 60 Minuten Der Clip sagte nicht genau, welche KI sie verwendeten. Ein CBS-Sprecher sagte The Daily Beast jedoch, dass das Segment keine Diskussion über den Barden sei, sondern ein separates Programm für künstliche Intelligenz namens PaLM – dessen Kerntechnologie später in den Barden integriert wurde.

Der Grund, warum der Clip für diese Experten so frustrierend war, ist, dass er die Realität dessen, was generative KI leisten kann, ignoriert und damit spielt. Es kann sich keine Sprache „beibringen“, wenn es keinen Zugang zu ihr hat. Das wäre, als würde man versuchen, sich selbst Mandarin beizubringen, aber man hat es erst gehört, nachdem man einmal Mandarin gefragt hat.

Schließlich ist Sprache unglaublich komplex – mit Nuancen und Regeln, die ein unglaubliches Maß an Kontext erfordern, um sie zu verstehen und zu kommunizieren. Selbst der fortschrittlichste LLM kann das alles nicht mit ein paar Eingabeaufforderungen bewältigen und lernen.

PaLM ist bereits mit Bengali, der dominierenden Sprache Bangladeschs, trainiert. Margaret Mitchell (keine Beziehung), Forscherin im Startup Lab bei AT HuggingFace und früher bei Google, erklärte dies in Tweet-Thema Argumentieren Sie warum 60 Minuten war falsch.

Mitchell bemerkte, dass Google in einer Demonstration im Jahr 2022 zeigte, dass PaLM auf Bengali kommunizieren und auf Eingabeaufforderungen reagieren kann. Die Papier hinter PaLM In einem Datenblatt wurde enthüllt, dass das Modell tatsächlich auf die Sprache mit ungefähr 194 Millionen Symbolen im bengalischen Alphabet trainiert wurde.

Also lernte er auf magische Weise nichts über eine einzige Eingabeaufforderung. Er kannte die Sprache bereits.

Es ist unklar, warum Pichai, der CEO von Google, sich zu dem Interview gesetzt und die Vorwürfe unwidersprochen gelassen hat. (Google hat auf Anfragen nach Kommentaren nicht geantwortet.) Seit der Ausstrahlung der Folge hat er geschwiegen, obwohl Experten auf die irreführenden und falschen Behauptungen in dem Clip hingewiesen haben.

Auf Twitter Margaret Mitchell Vorschlag Der Grund könnte eine Kombination aus Googles Führung sein, die nicht weiß, wie ihre Produkte funktionieren, und zulässt, dass schlechte Botschaften in den aktuellen Hype um generative KI übergreifen.

„Ich vermute [Google executives] Ich verstehe buchstäblich nicht, wie es funktioniert, Mitchell zwitschern. „Was ich oben geschrieben habe, ist höchstwahrscheinlich neu für sie. Und sie sind motiviert, es nicht zu verstehen (SPRECHEN SIE IHRE AUGEN MIT DIESEM DATENBLATT!!).“

Die zweite Hälfte des Videos kann auch als problematisch angesehen werden, da Pichai und Billy eine Kurzgeschichte diskutieren, die Bard geschrieben hat und die „sehr menschlich klang“, was die beiden Männer etwas erschüttert zurücklässt.

Die Wahrheit ist, diese Produkte sind keine Zauberei. Sie können nicht „menschlich“ sein, weil sie keine Menschen sind. Sie sind Textvorhersagen wie die auf Ihrem Telefon, die darauf trainiert sind, die besten Wörter und Sätze zu finden, die einer Reihe von Wörtern in Sätzen folgen. Zu sagen, dass sie es sind, kann ihnen ein Maß an Macht verleihen, das unglaublich gefährlich sein kann.

Schließlich können Menschen diese generativen KI-Systeme verwenden, um beispielsweise Fehlinformationen zu verbreiten. Wir haben bereits gesehen, wie dies die Bilder von Menschen und sogar ihre Stimmen manipuliert.

Ein Chatbot allein kann Schaden anrichten, wenn er am Ende voreingenommene Ergebnisse liefert – etwas, das wir bereits bei ChatGPT und Bard gesehen haben. Da sie die Neigung dieser Chatbots kennen, Ergebnisse zu halluzinieren und zu fabrizieren, können sie möglicherweise Fehlinformationen an ahnungslose Benutzer weitergeben.

Die Forschung bestätigt dies. Eine aktuelle Studie Veröffentlicht in Wissenschaftliche Berichte Er stellte fest, dass menschliche Antworten auf ethische Fragen leicht durch die Argumente von ChatGPT beeinflusst werden konnten – und sogar, dass Benutzer stark unterschätzten, wie sehr sie von Bots beeinflusst wurden.

Irreführende Behauptungen bzgl 60 Minuten Es ist wirklich nur ein Symptom für den größeren Bedarf an digitaler Kompetenz in einer Zeit, in der wir sie am meisten brauchen. Viele KI-Experten sagen, dass sich die Menschen heute mehr denn je darüber im Klaren sein müssen, was KI kann und was nicht. Diese grundlegenden Fakten über Robotik müssen einem breiteren Publikum effektiv vermittelt werden.

Die Menschen mit den größten Plattformen und den lautesten Stimmen (d. h. die Medien, Politiker und CEOs von Big Tech) tragen die größte Verantwortung für die Gewährleistung einer sichereren und besser informierten KI-Zukunft. Wenn wir das nicht tun, könnten wir wie die oben erwähnten Höhlenmenschen enden, mit der Magie des Feuers spielen – und uns dabei verbrennen.