Vielleicht hast Du es bereits getestet oder sogar für Deine Arbeit oder Dein Studium genutzt: ChatGPT. Das Tool wird immer beliebter. Aber was genau ist dieser Super-Chatbot? Und noch wichtiger, was kann er nicht?
Dieser Frage will ich hier nachgehen!
ChatGPT in Kurzform
Technisch gesehen ist GPT ein generatives KI-Modell und ChatGPT ist eine erstklassige Chat-Benutzeroberfläche. Es gibt verschiedene Modelle, die auf großen Datensätzen trainiert werden und neue Daten wie Text, Bild oder Audio erzeugen. (Chat)GPT ist in dieser Hinsicht nicht einzigartig, DALL-E und StableDiffusion sind bekannte Beispiele für die Bilderzeugung.
Ich spreche hier speziell über das OpenAI GPT.
Von Büchern über Reddit
Open AI wurde Ende 2015 von Elon Musk und anderen gegründet und konzentrierte sich ursprünglich auf die Forschung. Musk verließ den Vorstand Anfang 2018 aufgrund von Unstimmigkeiten. Im Jahr 2018 wurde GPT-1 verfügbar, das anhand von Büchern trainiert wurde. Im Jahr 2019 wurde GPT-2 verfügbar, das zusätzlich auf Reddit-Links basiert, und im Jahr 2020 GPT-3, das aus Wikipedia, Büchern, akademischen Zeitschriften, Reddit-Links und Common Crawl trainiert wurde. Common Crawl ist eine Art öffentliche Datenbank mit Petabytes (= tausend Terabytes) an Daten, die in 12 Jahren Internet-Crawling gesammelt wurden. Die GPT-Variante, die wir jetzt verwenden, ist GPT-3.5 und stammt von Anfang 2022. ChatGPT selbst wurde Ende 2022 eingeführt.
ChatGPT wurde mit 10.000 Grafikkarten (NVIDIA Tesla A100 GPU) trainiert, die mit einer riesigen Menge an Daten aus dem Internet gefüttert wurden. Dies führte dazu, dass das GTP-3.5-Modell in kürzester Zeit (grobe Schätzung: ein Monat) trainiert werden konnte. Zum Vergleich: Wenn Sie ChatGPT-3.5 mit einer einzigen Grafikkarte trainieren wollten, hätte es etwa 355 Jahre gedauert, das Modell zu trainieren!
GPT
GPT steht für Generative Pretrained Transformer (generativer vortrainierter Transformator). Die Architektur des maschinellen Lernmodells ist ein Transformer-Netzwerk, ein Deep-Learning-Modell, das mehr oder weniger der Nachfolger von RNN (Recurrent Neural Network) ist. GPT kann parallel trainiert und ausgegeben werden, im Gegensatz zu RNNs, die dies sequentiell tun.
Es gibt drei Schlüsselelemente, die dies möglich machen:
- Positionskodierung: Computer kennen keine Buchstaben, aber durch binäre Nummerierung der Wörter in einem Satz kann man das Modell trainieren, die Reihenfolge zu lernen.
- Aufmerksamkeit: Das Modell gewichtet alle Eingaben – also alle Wörter -, um einen Teil der Eingaben vorherzusagen. Dadurch ist es möglich, parallel zu trainieren.
- Eigene Aufmerksamkeit: Es gibt einen Kontext in Ihrer Eingabe, zum Beispiel einen Satz mit ’nein‘ oder ’nicht‘. Das Modell kann diese verstehen und den Kontext in der Ausgabe berücksichtigen.
Was kann ChatGPT?
Sehr viel! Es ist eine Suchmaschine auf Steroiden. Du kannst damit Anleitungen, Handbücher und Schritt-für-Schritt-Pläne erstellen. Es kann Texte generieren, übersetzen und umformulieren. Es kann Code schreiben, erklären, was ein Code tut, Testdaten generieren, Musik erzeugen (zumindest textbasierte Notation), Expertenratschläge validieren. ChatGPT sammelt auch den Kontext der gesamten Konversation und ermöglicht es Ihnen, frühere Antworten zu überprüfen und darauf aufzubauen.
Es kann Dir sogar bei der Beziehungsberatung helfen.
Es gibt hier eine Gewinnwarnung: Nicht alles, was ChatGPT ausspuckt, ist richtig.
Wem gehört eigentlich der Output der KI?
Das bist Du, denn KI kann keine Urheberrechte haben. Und mit der Kreativität, die Du in die Frage, in das einzigartige Ergebnis und in das, was Du dann mit dem Ergebnis machst, steckst, machst Du es zu Deinem ganz eigenen.
Bitte beachte: Wenn das GPT Inhalte produziert, die auf eine bestimmte Quelle zurückgeführt werden können, hat nach US-Recht der ursprüngliche Autor das Urheberrecht.
Was kann ChatGPT nicht?
Das Multitalent kennt seine Schwächen. Auch bei den Dingen, die es kann. Spaßfakt: Du kannst ChatGPT fragen, was es schlecht kann. So versteht es zum Beispiel nicht immer den richtigen Kontext oder z.B. Sarkasmus und hat Schwierigkeiten mit Subjektivität, gesundem Menschenverstand und Abstraktion.
Aber es gibt noch weitere Nachteile
Chat GPT ist quelloffen, kann also nicht lokal installiert werden.
Du gibst alle Eingaben an Open AI und indirekt an Microsoft, da ChatGPT auf Azure läuft.
Es kann nicht mit der physischen Welt interagieren, sondern nur simulieren.
Der Datensatz, den es jetzt verwendet, gilt bis September 2021. Danach kennt es keine Inhalte mehr. Zum Beispiel weiß es nichts über den Krieg in der Ukraine oder der aktuellen Bundeskanzlerin.
Du kannst die Quellen, die es in der Antwort auf Deine Frage verwendet, nicht validieren.
ChatGPT ist nicht nachhaltig, denn die Ausbildung und Nutzung solcher Modelle ist mit erheblichen Kosten und CO2-Emissionen verbunden. Aber das ist natürlich auch bei einer einfachen Google-Suche der Fall.
Ethische Frage
Ist alles, was damit gemacht werden kann, erlaubt? Sollten wir die Schüler vor der Verwendung von ChatGPT warnen, oder sollten wir ihnen so gut wie möglich helfen, es richtig zu verwenden? All dies bleibt abzuwarten.
Die Zukunft von ChatGPT
Darüber hinaus arbeitet OpenAI an der Videogenerierung. Microsoft arbeitet an der Integration von ChatGPT in Microsoft Bing und an der Spracherzeugung (VALL-E). Künstliche allgemeine Intelligenz (AGI) – KI, die menschliche kognitive Aufgaben erlernen kann – ist noch nicht verfügbar.
In Microsoft Teams Premium gibt es bereits erste Features, die zum Beispiel Meetings zusammenfassen.
Die Konkurrenz
Google fällt nicht mehr soviel ein, mussten aber schnell reagieren.
Vor zwei Jahren hatten sie deren nächste Generation von Sprach- und Konversationsfunktionen auf der Grundlage ihres Sprachmodells für Dialoganwendungen (kurz: LaMDA) vorgestellt.
Sie haben an einem experimentellen KI-Dienst für Konversation gearbeitet, der auf LaMDA basiert und den sie Bard nennen.
https://blog.google/technology/ai/bard-google-ai-search-updates/
Bard versucht, die Breite des weltweiten Wissens mit der Leistung, Intelligenz und Kreativität unserer großen Sprachmodelle zu kombinieren. Es stützt sich auf Informationen aus dem Internet, um frische, hochwertige Antworten zu liefern. Bard kann ein Ventil für Kreativität und ein Sprungbrett für Neugier sein. So können Sie einem Neunjährigen die neuen Entdeckungen des James-Webb-Weltraumteleskops der NASA erklären oder mehr über die derzeit besten Stürmer im Fußball erfahren und dann Übungen zur Verbesserung Ihrer Fähigkeiten erhalten.
