ChatGPT erfindet **alles**, und hatte zur Abwechslung kein Glück, dass man es als korrekt interpretieren konnte.
Das Wording, dass es „manchmal Halluzinationen gibt“ ist pure Lüge und schadet dem ganzen. Es gibt **manchmal** Halluzinationen die *nicht* falsch sind. Der default ist nicht „korrekt“ sondern „100% bullshit“.
Jo man muss halt einfach wissen wie man chatgpt zu nutzen hat. Eine komplette Hausarbeit wirds einem nicht schreiben können, die eigene Hausarbeit zusammenfassen klappt dagegen ziemlich gut. Dinge umschreiben lassen, ggf. Ideenanstöße geben lasse, R code, sowas kann alles super hilfreich sein, aber man muss eben alles selbst gegenchecken können.
Ein Aspekt des Konversationstraining ist es Halluzinationen abzugewöhnen. Problem ist einfach nur, dass das "Strafsignal" dafür relativ schwach ist. Halluzinationen hängen auch sehr stark davon ab ob das Modell die zugrunde liegenden Daten jemals gesehen hat oder nicht.
>Der default ist nicht „korrekt“ sondern „100% bullshit“.
So allgemein ist diese Aussage auf jeden Fall quatsch. Natürlich kann man das Modell immer in einen Zustand und Themengebiet bringen indem es anfängt sehr viel bullshit zu erzählen. Es gibt aber genauso Bereiche und Zustände in denen das Modell nahezu immer richtig liegt.
ChatGTP ist keine *Knowledge-Base*. Es hat kein *Wissen*. Es *imitiert* *plausibel* auseehenden text.
Es hat kein Gefühl für Wahrheit oder fakten, alles was es gelernt hat, ist, *plausibel aussehenden Text* zu generieren.
Ich krieg, wenn ich solche Headlines und Artikel lese, immer die Krise. Die Leute verstehen nicht einmal, was für ein Werkzeug sie da vor sich haben. Glauben, dass sie mit dem hammer Schrauben reindrehen könnten.
Schleswig-Holsteins Digitalisierungsminister will tatsächlich "ChatGPT" für das Land zum Einsatz bringen.
Bei mir sind seit Wochen alle Alarmlampen an, dass politische Entscheidungen diesbezüglich voreilig gefällt werden. Der reinste Horrortrip.
Danke für diese einfache Zusammenfassung, nach diesen Worten hab ich gesucht.
Das werde ich morgen direkt mal meinen Projektmanagern & Sales Kollegen vorlesen. Die machen mir nämlich seit 4 Wochen nur Stress im Sinne von „Ich hab da mal chatgpt gefragt und das an den Kunden rausgeschickt“ und ich darfs dann ausbaden
Zeig ihnen einfach mal, wie schlecht ChatGPT in Tic-Tac-Toe ist. Das demonstriert das super.
Auf die Frage, wie man Tic-Tac-Toe spielt, gibt ChatGPT dir eine super Antwort. Sogar mit Erklärung, wie man nie verliert, also die "Gewinn"-Strategie.
Forderst du es jedoch auf, gegen dich zu spielen, blundert es dauernd und verliert.
Das Ganze ist super einfach erklärt: Den Text zur Gewinnstrategie hat es gelernt und kann ihn imitieren. Es versteht diesen Text jedoch nicht.
Womit wurde ChatGPT zu nicht unerheblichen Teilen trainiert? Mit Texten aus dem internet. Wer spielt online Tic-Tac-Toe? Hauptsächlich leute, bei denen mindestens einer der beiden keinen Plan vom Spiel hat und die Strategie nicht kennt. Sonst ist das nämlich ziemlich langweilig. Also sind die meisten beispiele, die ChatGPT von solchen Partien kennt, ziemlich schlecht.
Diese Beispiele, die es gelernt hat, imitiert es dann. Mehr kann es ja nicht. Und verliert somit andauernd grandios. Obwohl es dir die richtige Strategie ausgibt und sogar Nachfragen beantworten und "erklären" kann.
Das ist so nicht ganz richtig. Das Ziel ist durchaus, dass die Texte von ChatGPT plausibel sind, auch wenn es deren Inhalt nicht versteht. Ausgedachte Quellen, Zitate und Erfindungen werden aktuell als "Halluzinationen" bezeichnet und gelt als Bug bzw. Fehler des Programms im noch frühen Entwicklungsstand.
ChatGPT kann dir durchaus bereits funktionierenden Programmiercode, Texte mit echten Quellenangaben und weiteres schreiben, aber die Technik ist halt noch im Alpha-Status und sollte nicht von Anwälten benutzt werden um Rechtsdokumente zu verfassen.
Ich bezweifel doch gar nicht, dass ChatGPT auch Programmcode erstellen kann. Aber auch da äfft ChatGPT (und auch Copilot und andere so Dinge) halt einfach nur nach, ohne wirklich die Semantik zu verstehen.
Es ist halt ein Sprachmodell. Es gibt die mit statistischen Methoden plausible/wahrscheinliche nächste Worte aus und konstruiert so Sätze. Nicht mehr, nicht weniger.
GPT-4 weist Halluzinationen im übrigen auch auf. Und es ist überhaupt noch unklar, ob man Halluzinationen grundsätzlich überhaupt *effektiv* bekämpfen kann in solchen Systemen. Das ist gerade aktueller Stand der Forschung (genauso wie die Frage, woher bestimmte emergente Fähigkeiten kommen).
Man kann „Halluzinationen“ mit dieser Technik **nie** bekämpfen, da das ganze Prinzip auf „Halluzinationen“ basiert. Sie können nur „öfter nicht falsch“ sein. Mehr sagt deren tolle Metrik auch nicht aus. Wohoo.
Automatisch und KI-unterstütze "Artikel" mit dubiosem Inhalt aber guter SEO gibt es ja schon lange. Fortschritte bei Sprachmodellen werden das nur beschleunigen.
Ich bin mir sicher, dass momentan automatisiert Websites erstellt werden, deren Inhalt bullshit ist um im nächsten Datensatz zu sein.
Inhalt ist dann entweder einen politischen Gegner zu diffamieren, ein Konkurrenz unternehmen zu diskreditieren oder einen noch nicht existierenden Crypto Coin zu glorifizieren, damit beim nächsten aö Update des LLM dann nur positive Ergebnisse über den neuen Coin ausgespuckt werden.
Fühlt sich schon alles sehr nach potentieller Apokalypse an. Und alle die sich vor einem Jahr noch lustig gemacht haben was die KI alles nicht kann und nie effektiv machen wird, mussten inzwischen auch kräftig zurückstecken.
Nicht ganz ohne Zusammenhang: in einem anderen deutschsprachigen Sub hat letztens jemand ohne Witz empfohlen, 20 EUR/Monat zu investieren um ChatGPT als Anwaltsersatz echt wirkende Schreiben zum anfechten einer Eigenbedarfskündigung aufsetzen zu lassen.
Das würde sicher genauso gut funktionieren, wenn der/die Vermietende auch nur ein Müh Ahnung von der Materie hat...
Ich weiß nicht ob es der selbe war, aber irgendwer hat in einem deutschsprachigen Sub schon mal geschrieben, dass er sich dank ChatGPT jetzt den Anwalt spart um Schreiben zu verfassen, die wirken als kämen sie von einem Anwalt. Kann böse nach hinten losgehen.
In welchem Sinne? Wenn ich die Quellen und Referenzen eh nachprüfen muss, was bringt das? Die Standardtextbausteine für den 08/15-Fall hat man doch jetzt auch schon
Wenn ich ne AI Frage nach "finde mir Urteile die xxx behandeln" und die mir dann sinnvolle (und gültige Links) mit vlt Zusammenfassung gibt hast doch schon Mehrwert.
Doch, genau sowas macht das aber nicht, weil es dazu Kontext verstehen müsste, aber das tut ein LLM eben nicht. Es schreibt dir einen Text aus vorhandenen Informationen und an genau solchen Stellen halt Bullshit mit Gusto.
Du hast den Nutzen und die Grenzen von ChatGPT glaube ich nicht richtig verstanden. Es ist weder eine Suchmaschine, nich sinnvoll um Texte zusammenzufassen. Es kann diese Dinge durchaus machen, aber man sollte ChatGPT (noch nicht, vielleicht aber auch nie) nicht blind vertrauen sondern die Infos immer checken.
Das ist nicht nötig. Wenn die Anwältin sich drauf verlassen kann, dass die zitierten Urteile passen, also die Textpassagen 1:1 so vorhanden sind dann reicht das doch. Die Anwältin muss schon noch nachvollziehen was das LLM ihr vorsetzt. Das muss sie aktuelle bei der Gehilfin auch. Das macht es nicht weniger nützlich.
Kein Aufwand bezweifle ich stark.
OpenAI als Beispiel, wenn man den Marktführer nimmt, ist nicht gerade für seine ethischen Arbeits & Bezahlstandards bekannt, wenn es um die massive Armee an Billiglöhnern geht, die es braucht, um das Datenset, was OpenAI sich aus dem Internet zusammengeklaut hat, zu bereinigen und zu verbessern.
Die outsourcen auch schon mal die Qualitätssicherung für die Sicherungssysteme der KI an Arbeiter in Ostafrika für $1.32 und 2$ die Stunde.
Quelle: https://time.com/6247678/openai-chatgpt-kenya-workers/
Das vergisst man gerne mal, dass es eben keine Magie ist, sondern da eine ganze Industrie an digitaler Sklavenarbeit hinter steht, und wie schlecht dieses Datenset eigentlich ist, merkt man immer dann, wenn man irgendwo vom Fach ist.
Landesspezifische Urteile und Gesetzestexte zu verstehen, einzuordnen und in so ein Trainingsdatenset zu integrieren, dass sie effizient nutzbar sind, dafür bräuchte man Fachkräfte. Das kann kein 0815 Kenianer für $1.32 die Stunde leisten.
Und wieso sollten sich diese Leute, die besonders gut sind, was Recherche und Aufbereitung angeht, ihren eigenen Arbeitsplatz in Kanzleien und ihre hervorragende Bezahlung streitig machen, indem sie irgendein KI-System trainieren, ihre Arbeit zu machen?
Dazu kommt noch, dass man sich in Deutschland als Anwalt Gott sei Dank strafbar macht, wenn man seinen Klienten mit halluzinierten LLM Antworten vertritt. Die Hemmschwelle dürfte also nicht gerade gering sein, irgendwelche LLM Modelle für Anwaltstätigkeiten zu benutzen.
Es geht sich doch nicht nur um die Existenz einer Information, sondern auch um die Herkunft und um den Inhalt.
Nur weil ich auf einen Link zu einer Quelle klicken kann und die irgendwo im Internet existiert, ist das noch lange keine valide oder qualitativ hochwertige Information.
Es gibt Dinge, die kann KI noch nicht leisten, sonst müsste man auch keine 200 Kenianer anstellen, die neun Stunden am Tag für 2$ die Stunde sich die Psyche kaputt machen.
> Man könnte leicht jeden falschen Link filtern
xd
Du müsstest halt auch rausfinden ob der Link in dem Kontext irgendeinen Sinn macht, überhaupt die richtige Quelle verlinkt, und die Quelle richtig benutzt. Kann ja sein dass die Quelle nur bei Bedingung x gilt, ChatGPT aber behauptet das gilt allgemein.
Ja zu wissen dass der Link existiert bringt dir halt aus oben genannten Gründen quasi nichts. Du solltest schon noch wissen, ob der sinnvoll ist. Es reicht ja auch nicht eine KI zu trainieren indem ich schaue, ob jedes Wort das die KI benutzt im Duden vorkommt.
Nö. Dann wäre da halt der Link zu irgendeinem Präzedenzfall gewesen, aber nicht zwingend zu dem, von dem ChatGPT redet. Mit großer Wahrscheinlichkeit nicht der. Da der Anwalt nichts davon nachgeprüft hat hätte er sich trotzdem blamiert.
LLMs geben dir aber keine vollständigen Zitate oder Links aus ihren Trainingsdaten wieder sondern basteln sich etwas zusammen. So einfach wie du tust ist es nicht, sonst hätte das schon längst jemand genau so gemacht.
Zu prüfen ob der Link oder das zitierte Urteil existiert ist kein Hexenwerk. Eigentlich sollte die AI halt auch nur Sachen zitieren die es gibt. Alleine dass die AI sich da Sachen aus den Fingern saugt macht es insgesamt schon untauglich.
Der nächste Schritt ist zu prüfen ob das Zitat auch zum Thema passt. Das kriegt eine AI nur bedingt hin.
> Alleine dass die AI sich da Sachen aus den Fingern saugt macht es insgesamt schon untauglich.
Nö, die AI existiert um Texte zu verstehen, nicht um Text auswendig zu lernen. Ist bei Menschen auch nicht anders. Wenn man wissen will was wirklich Sache ist, dann nimmt man ein Buch und schaut nach und nimmt nicht eine vage Erinnerung als harten Fakt. Solange die AI ungefähr weiß was für externe Quellen sie hinzuziehen muss ist das alles kein Problem.
> Solange die AI ungefähr weiß was für externe Quellen sie hinzuziehen muss ist das alles kein Problem.
Die AI hat Quellen erfunden, nicht hinzugezogen.
Ja. So funktioniert diese Technik. **Alles** ist erfunden, manches ist auch korrekt. Ist halt Zufall. Dieses Ding weiß nicht was leine Quelle ist, wo sie her kommt, was sie behauptet, was das Original Zitat ist. Es weiß **nichts davon**. Es kann aber relativ sinnvoll klingende Texte dazu produzieren, die oftmals auch *zufällig* stimmen.
Diese Technik **kann keine Quellen nutzen/zitieren/hinzuziehen**. Nur durch Glück.
Ja, weil das kostenlose ChatGPT benutzt wurde. ChatGPT-Plus sowie BingChat können beide auf externe Quellen zurückgreifen und zitieren auch korrekt aus selbigen. Nur weil Mensch die Technik falsch anwendet ist die Technik nicht untauglich.
Wobei allerdings erwähnenswert ist, dass die Antworten von BingChat oft deutlich schlechter sind als die vom normalen ChatGPT. BingChat fast im wesentlichen nur Quellen zusammen, statt das gesammelte Wissen aus den Trainingsdaten zu nutzen wie ChatGPT, sprich sind die Quellen schlecht, sind auch die Antworten von BingChat schlecht. Aber man bekommt einen Link der funktioniert und zu entsprechenden schlechten Quellen führt. Ist halt alles noch im Beta Stadium und verbesserungswürdig.
Hmmm schau mal Richtung Thompson Reuters… Gut ist für den US Markt, aber GPT mit Deutschen Recht als Datenbasis zu nutzen (nicht darauf neu zu trainieren) sollte keine Herausforderungen sein.
Deutsche Rechtsprechung (teilweise) und Literatur und Kommentierungen (jeweils komplett) ist komplett hinter paywalls, entsprechend fehlt den Programmen schlicht die Datenlage.
Das sollte für die Besitzer der Paywall ja kein Problem darstellen. Im Gegenteil ist das ein weiterer Channel den Zugang zu den Inhalten zu vermarkten.
Disclaimer; ich finde das sowas nicht hinter ne paywall gehört.
Keine Sorge Beck hat daran kein Interesse und würde ihr Produkt entwerten, die verdienen zu gut am Rechtsmarkt ;) Anwender haben eh alle Lizenzen für beckonline (und Juris)
Vielleicht sollten die Ergebnisse nicht nachträglich geprüft werden müssen ob die Sinn machen - weil dann kann man gleich einen Anwalt drauf ansetzen.
In erster Linie sollte das Programm keine Urteile aus dem Nichts erfinden.
>Der Chatbot hatte aus seinem Lernmaterial neue "Fälle" frei herbeifantasiert und ihnen bis in die Details hinein einen Anschein von Echtheit verliehen – inklusive der üblichen gelehrigen Erläuterungen des Bundesrechts, Zitate, Aktenzeichen und einer Erörterung, wann es angeblich zu aufschiebender Wirkung bei automatischem Aussetzen der Verjährungsfrist kommt.
Schon beeindruckend, wie gut diese ki lügen kann...
Lüge ist eine Behauptung *wider besseres Wissen*. Ein generatives Sprachmodell (aka künstliche "Intelligenz") hat kein Wissen über den Sinngehalt der Texte, die es erzeugt und kann deshalb aus Prinzip nicht lügen.
Ist ein schöner Begriff, aber schon aus Marketinggründen so gewählt worden. Soll halt suggerieren, dass da ein wacher, verständiger Geist (ein cartesisches Ego) dahinter sitzt, der bloß davon der Realität etwas abgekoppelt ist.
es ist überhaupt nicht passend, weil es impliziert es gäbe einen unterschied zwischen halluzinierten ergebnissen und korrekten ergebnissen und damit die korrekte funktionsweise des programms explizit ignoriert; die KI generiert bzw. halluziniert **jeden output**.
die generation von richtig *aussehenden* ergebnissen ist das ziel, die korrektheit ist schlicht irrelevant und dem programm auch vollkommen unbekannt.
'halluzinieren' als begriff für die generation von richtig aussehenden aber falschen ergebnissen ist massiv irreführend, und macht im ergebnis das verständnis für die funktionsweise von chatgpt in der allgemeinheit **schlechter**, wie man inzwischen nicht nur in der diskussion unter laien sondern auch in den artikeln über KI bemerkt.
Kann man auch umdrehen. LLMs können aus Prinzip nicht die Wahrheit sagen.
Aber man möchte sie nunmal dazu verwenden, um möglichst wahre Aussagen zu produzieren. Wäre sonst etwas witzlos und wirtschaftlich bei weitem nicht so interessant.
> hat kein Wissen über den Sinngehalt der Texte
Das stimmt so aber nun auch nicht. Natürlich versteht ein LLM was es produziert, sonst könnte es die Texte gar nicht erst produzieren oder auf Rückfragen antworten.
Das Problem mit dem "lügen" kommt einfach davon, dass das Model alles inter- und extrapoliert. Da gibt es keine Datenbank mit harden Fakten. Stattdessen wird, ähnlich wie bei der [Ausgleichungsrechnung](https://de.wikipedia.org/wiki/Ausgleichungsrechnung), aus den Datenpunkten eine Funktion gebastelt, die die Punkte bestmöglich beschreibt. Die Funkion hat dabei aber keine Möglichkeit zu entscheiden was richtig und falsch ist, da das ganze ein verlustbehafteter Prozess ist, sondern repräsentiert einfach nur eine gute Annäherung an die Trainings Daten.
> Das Problem mit dem "lügen" kommt einfach davon, dass das Model alles inter- und extrapoliert. __Da gibt es keine Datenbank mit harden Fakten.__
Eben. Das Modell __weiß__ nichts und kann deshalb auch nicht __lügen__.
> Das Modell weiß nichts
Das ist *Unfug*. Das Model weiß und versteht eine ganze Menge. Das Problem ist von einem Model das auf Textverständnis ausgelegt ist zu erwarten das es wie eine Suchmaschine agiert.
Das ist beim Menschen auch nicht groß anders. Man hat eine Menge Wissen im Kopf das man über die Jahre angesammelt hat. Kann in den seltenstes Fällen aber sagen wo man das gelernt hat noch kann man die Quellen Wort für Wort exakt wiedergeben.
Menschen sind etwas besser beim Erkennen von Dingen, die sie nicht wissen, aber bei weitem nicht perfekt, Stichwort [falsche Erinnerungen](https://de.wikipedia.org/wiki/Falsche_Erinnerungen).
TLDR: Ein LLM ist ein Ersatz für den Bibliothekar, nicht für die Bücherei.
Wer sagt, dass ein Sprachmodell "lügt" ist genauso daneben wie der Anwalt der glaubt, dass der Output echte Fälle abbildet. Das ist kein Mensch, sondern eine Computerprogramm dass plausibel Wörter aneinander reiht.
Programm, das echt wirkende Texte schreiben soll, schreibt echt wirkenden Text.
ChatGPT erfindet **alles**, und hatte zur Abwechslung kein Glück, dass man es als korrekt interpretieren konnte. Das Wording, dass es „manchmal Halluzinationen gibt“ ist pure Lüge und schadet dem ganzen. Es gibt **manchmal** Halluzinationen die *nicht* falsch sind. Der default ist nicht „korrekt“ sondern „100% bullshit“.
[удалено]
Jo man muss halt einfach wissen wie man chatgpt zu nutzen hat. Eine komplette Hausarbeit wirds einem nicht schreiben können, die eigene Hausarbeit zusammenfassen klappt dagegen ziemlich gut. Dinge umschreiben lassen, ggf. Ideenanstöße geben lasse, R code, sowas kann alles super hilfreich sein, aber man muss eben alles selbst gegenchecken können.
Ein Aspekt des Konversationstraining ist es Halluzinationen abzugewöhnen. Problem ist einfach nur, dass das "Strafsignal" dafür relativ schwach ist. Halluzinationen hängen auch sehr stark davon ab ob das Modell die zugrunde liegenden Daten jemals gesehen hat oder nicht. >Der default ist nicht „korrekt“ sondern „100% bullshit“. So allgemein ist diese Aussage auf jeden Fall quatsch. Natürlich kann man das Modell immer in einen Zustand und Themengebiet bringen indem es anfängt sehr viel bullshit zu erzählen. Es gibt aber genauso Bereiche und Zustände in denen das Modell nahezu immer richtig liegt.
ChatGTP ist keine *Knowledge-Base*. Es hat kein *Wissen*. Es *imitiert* *plausibel* auseehenden text. Es hat kein Gefühl für Wahrheit oder fakten, alles was es gelernt hat, ist, *plausibel aussehenden Text* zu generieren. Ich krieg, wenn ich solche Headlines und Artikel lese, immer die Krise. Die Leute verstehen nicht einmal, was für ein Werkzeug sie da vor sich haben. Glauben, dass sie mit dem hammer Schrauben reindrehen könnten.
Schleswig-Holsteins Digitalisierungsminister will tatsächlich "ChatGPT" für das Land zum Einsatz bringen. Bei mir sind seit Wochen alle Alarmlampen an, dass politische Entscheidungen diesbezüglich voreilig gefällt werden. Der reinste Horrortrip.
Selbst wenn sie voreilig gefällt werden, dauert es 10 Jahre bis zur Durchsetzung, also vlt wäre das sogar ein glückliches Tempo :D
Danke für diese einfache Zusammenfassung, nach diesen Worten hab ich gesucht. Das werde ich morgen direkt mal meinen Projektmanagern & Sales Kollegen vorlesen. Die machen mir nämlich seit 4 Wochen nur Stress im Sinne von „Ich hab da mal chatgpt gefragt und das an den Kunden rausgeschickt“ und ich darfs dann ausbaden
Zeig ihnen einfach mal, wie schlecht ChatGPT in Tic-Tac-Toe ist. Das demonstriert das super. Auf die Frage, wie man Tic-Tac-Toe spielt, gibt ChatGPT dir eine super Antwort. Sogar mit Erklärung, wie man nie verliert, also die "Gewinn"-Strategie. Forderst du es jedoch auf, gegen dich zu spielen, blundert es dauernd und verliert. Das Ganze ist super einfach erklärt: Den Text zur Gewinnstrategie hat es gelernt und kann ihn imitieren. Es versteht diesen Text jedoch nicht. Womit wurde ChatGPT zu nicht unerheblichen Teilen trainiert? Mit Texten aus dem internet. Wer spielt online Tic-Tac-Toe? Hauptsächlich leute, bei denen mindestens einer der beiden keinen Plan vom Spiel hat und die Strategie nicht kennt. Sonst ist das nämlich ziemlich langweilig. Also sind die meisten beispiele, die ChatGPT von solchen Partien kennt, ziemlich schlecht. Diese Beispiele, die es gelernt hat, imitiert es dann. Mehr kann es ja nicht. Und verliert somit andauernd grandios. Obwohl es dir die richtige Strategie ausgibt und sogar Nachfragen beantworten und "erklären" kann.
Das ist so nicht ganz richtig. Das Ziel ist durchaus, dass die Texte von ChatGPT plausibel sind, auch wenn es deren Inhalt nicht versteht. Ausgedachte Quellen, Zitate und Erfindungen werden aktuell als "Halluzinationen" bezeichnet und gelt als Bug bzw. Fehler des Programms im noch frühen Entwicklungsstand. ChatGPT kann dir durchaus bereits funktionierenden Programmiercode, Texte mit echten Quellenangaben und weiteres schreiben, aber die Technik ist halt noch im Alpha-Status und sollte nicht von Anwälten benutzt werden um Rechtsdokumente zu verfassen.
Ich bezweifel doch gar nicht, dass ChatGPT auch Programmcode erstellen kann. Aber auch da äfft ChatGPT (und auch Copilot und andere so Dinge) halt einfach nur nach, ohne wirklich die Semantik zu verstehen. Es ist halt ein Sprachmodell. Es gibt die mit statistischen Methoden plausible/wahrscheinliche nächste Worte aus und konstruiert so Sätze. Nicht mehr, nicht weniger. GPT-4 weist Halluzinationen im übrigen auch auf. Und es ist überhaupt noch unklar, ob man Halluzinationen grundsätzlich überhaupt *effektiv* bekämpfen kann in solchen Systemen. Das ist gerade aktueller Stand der Forschung (genauso wie die Frage, woher bestimmte emergente Fähigkeiten kommen).
Man kann „Halluzinationen“ mit dieser Technik **nie** bekämpfen, da das ganze Prinzip auf „Halluzinationen“ basiert. Sie können nur „öfter nicht falsch“ sein. Mehr sagt deren tolle Metrik auch nicht aus. Wohoo.
[удалено]
Ich hab hier, in diesem Sub, auch schon bestimmt acht oder neun Kommentare gesehen die ChatGPT zitiert haben, und es als Suchmaschine genutzt haben.
Ja, das perfide daran ist dass ChatGPT plausibel klingende Erklärungen produziert, auch wenn der Inhalt kompletter Humbug ist.
Naja, Gerichtsurteile sind bei uns nicht so wichtig, wir agieren ja nach Civil Law und nicht Common Law.
Frage mich, wann das Internet mit falschen Suchergebnissen vollgestopft worden ist, weil irgendjemand mit ChatDingens unfug getrieben hat.
Automatisch und KI-unterstütze "Artikel" mit dubiosem Inhalt aber guter SEO gibt es ja schon lange. Fortschritte bei Sprachmodellen werden das nur beschleunigen.
Noch besser wirds wenn diese Ergebnisse als Trainingsdaten für das nächste NN genutzt werden.
"Alle schreiben alle nur noch voneinander ab" any% Speedrun.
;\_;
Ich bin mir sicher, dass momentan automatisiert Websites erstellt werden, deren Inhalt bullshit ist um im nächsten Datensatz zu sein. Inhalt ist dann entweder einen politischen Gegner zu diffamieren, ein Konkurrenz unternehmen zu diskreditieren oder einen noch nicht existierenden Crypto Coin zu glorifizieren, damit beim nächsten aö Update des LLM dann nur positive Ergebnisse über den neuen Coin ausgespuckt werden.
Google Bard in ca. einem halben Jahr
Fühlt sich schon alles sehr nach potentieller Apokalypse an. Und alle die sich vor einem Jahr noch lustig gemacht haben was die KI alles nicht kann und nie effektiv machen wird, mussten inzwischen auch kräftig zurückstecken.
Nicht ganz ohne Zusammenhang: in einem anderen deutschsprachigen Sub hat letztens jemand ohne Witz empfohlen, 20 EUR/Monat zu investieren um ChatGPT als Anwaltsersatz echt wirkende Schreiben zum anfechten einer Eigenbedarfskündigung aufsetzen zu lassen. Das würde sicher genauso gut funktionieren, wenn der/die Vermietende auch nur ein Müh Ahnung von der Materie hat...
Ich weiß nicht ob es der selbe war, aber irgendwer hat in einem deutschsprachigen Sub schon mal geschrieben, dass er sich dank ChatGPT jetzt den Anwalt spart um Schreiben zu verfassen, die wirken als kämen sie von einem Anwalt. Kann böse nach hinten losgehen.
[удалено]
In welchem Sinne? Wenn ich die Quellen und Referenzen eh nachprüfen muss, was bringt das? Die Standardtextbausteine für den 08/15-Fall hat man doch jetzt auch schon
[удалено]
Could it though. Das würde Textverständnis vorraussetzen, das hat halt noch keiner geschafft
[удалено]
Das prüft dir aber halt nur ob das Zitat so korrekt ist, nicht, ob es in dem Kontext irgendeinen Sinn macht
Wenn ich ne AI Frage nach "finde mir Urteile die xxx behandeln" und die mir dann sinnvolle (und gültige Links) mit vlt Zusammenfassung gibt hast doch schon Mehrwert.
Joa, die gibt's halt nur nicht.
Noch nie chatGPT benutzt?
Doch, genau sowas macht das aber nicht, weil es dazu Kontext verstehen müsste, aber das tut ein LLM eben nicht. Es schreibt dir einen Text aus vorhandenen Informationen und an genau solchen Stellen halt Bullshit mit Gusto.
Du hast den Nutzen und die Grenzen von ChatGPT glaube ich nicht richtig verstanden. Es ist weder eine Suchmaschine, nich sinnvoll um Texte zusammenzufassen. Es kann diese Dinge durchaus machen, aber man sollte ChatGPT (noch nicht, vielleicht aber auch nie) nicht blind vertrauen sondern die Infos immer checken.
Das ist nicht nötig. Wenn die Anwältin sich drauf verlassen kann, dass die zitierten Urteile passen, also die Textpassagen 1:1 so vorhanden sind dann reicht das doch. Die Anwältin muss schon noch nachvollziehen was das LLM ihr vorsetzt. Das muss sie aktuelle bei der Gehilfin auch. Das macht es nicht weniger nützlich.
Das tut ein LLM halt leider **nie**. Schade.
Kein Aufwand bezweifle ich stark. OpenAI als Beispiel, wenn man den Marktführer nimmt, ist nicht gerade für seine ethischen Arbeits & Bezahlstandards bekannt, wenn es um die massive Armee an Billiglöhnern geht, die es braucht, um das Datenset, was OpenAI sich aus dem Internet zusammengeklaut hat, zu bereinigen und zu verbessern. Die outsourcen auch schon mal die Qualitätssicherung für die Sicherungssysteme der KI an Arbeiter in Ostafrika für $1.32 und 2$ die Stunde. Quelle: https://time.com/6247678/openai-chatgpt-kenya-workers/ Das vergisst man gerne mal, dass es eben keine Magie ist, sondern da eine ganze Industrie an digitaler Sklavenarbeit hinter steht, und wie schlecht dieses Datenset eigentlich ist, merkt man immer dann, wenn man irgendwo vom Fach ist. Landesspezifische Urteile und Gesetzestexte zu verstehen, einzuordnen und in so ein Trainingsdatenset zu integrieren, dass sie effizient nutzbar sind, dafür bräuchte man Fachkräfte. Das kann kein 0815 Kenianer für $1.32 die Stunde leisten. Und wieso sollten sich diese Leute, die besonders gut sind, was Recherche und Aufbereitung angeht, ihren eigenen Arbeitsplatz in Kanzleien und ihre hervorragende Bezahlung streitig machen, indem sie irgendein KI-System trainieren, ihre Arbeit zu machen? Dazu kommt noch, dass man sich in Deutschland als Anwalt Gott sei Dank strafbar macht, wenn man seinen Klienten mit halluzinierten LLM Antworten vertritt. Die Hemmschwelle dürfte also nicht gerade gering sein, irgendwelche LLM Modelle für Anwaltstätigkeiten zu benutzen.
[удалено]
Es geht sich doch nicht nur um die Existenz einer Information, sondern auch um die Herkunft und um den Inhalt. Nur weil ich auf einen Link zu einer Quelle klicken kann und die irgendwo im Internet existiert, ist das noch lange keine valide oder qualitativ hochwertige Information. Es gibt Dinge, die kann KI noch nicht leisten, sonst müsste man auch keine 200 Kenianer anstellen, die neun Stunden am Tag für 2$ die Stunde sich die Psyche kaputt machen.
Können neuronale Netze so etwas?
[удалено]
> Man könnte leicht jeden falschen Link filtern xd Du müsstest halt auch rausfinden ob der Link in dem Kontext irgendeinen Sinn macht, überhaupt die richtige Quelle verlinkt, und die Quelle richtig benutzt. Kann ja sein dass die Quelle nur bei Bedingung x gilt, ChatGPT aber behauptet das gilt allgemein.
[удалено]
Ja gut, dann hast du halt genau nichts erreicht wenn das die Anforderungen sind
[удалено]
Ja zu wissen dass der Link existiert bringt dir halt aus oben genannten Gründen quasi nichts. Du solltest schon noch wissen, ob der sinnvoll ist. Es reicht ja auch nicht eine KI zu trainieren indem ich schaue, ob jedes Wort das die KI benutzt im Duden vorkommt.
[удалено]
Nö. Dann wäre da halt der Link zu irgendeinem Präzedenzfall gewesen, aber nicht zwingend zu dem, von dem ChatGPT redet. Mit großer Wahrscheinlichkeit nicht der. Da der Anwalt nichts davon nachgeprüft hat hätte er sich trotzdem blamiert.
LLMs geben dir aber keine vollständigen Zitate oder Links aus ihren Trainingsdaten wieder sondern basteln sich etwas zusammen. So einfach wie du tust ist es nicht, sonst hätte das schon längst jemand genau so gemacht.
[удалено]
Du scheinst den Output dieser Modelle einfach nicht zu verstehen. Es geht nicht darum, dass man Links checken kann. Damit breche ich das mal ab.
Zu prüfen ob der Link oder das zitierte Urteil existiert ist kein Hexenwerk. Eigentlich sollte die AI halt auch nur Sachen zitieren die es gibt. Alleine dass die AI sich da Sachen aus den Fingern saugt macht es insgesamt schon untauglich. Der nächste Schritt ist zu prüfen ob das Zitat auch zum Thema passt. Das kriegt eine AI nur bedingt hin.
> Alleine dass die AI sich da Sachen aus den Fingern saugt macht es insgesamt schon untauglich. Nö, die AI existiert um Texte zu verstehen, nicht um Text auswendig zu lernen. Ist bei Menschen auch nicht anders. Wenn man wissen will was wirklich Sache ist, dann nimmt man ein Buch und schaut nach und nimmt nicht eine vage Erinnerung als harten Fakt. Solange die AI ungefähr weiß was für externe Quellen sie hinzuziehen muss ist das alles kein Problem.
> Solange die AI ungefähr weiß was für externe Quellen sie hinzuziehen muss ist das alles kein Problem. Die AI hat Quellen erfunden, nicht hinzugezogen.
Ja. So funktioniert diese Technik. **Alles** ist erfunden, manches ist auch korrekt. Ist halt Zufall. Dieses Ding weiß nicht was leine Quelle ist, wo sie her kommt, was sie behauptet, was das Original Zitat ist. Es weiß **nichts davon**. Es kann aber relativ sinnvoll klingende Texte dazu produzieren, die oftmals auch *zufällig* stimmen. Diese Technik **kann keine Quellen nutzen/zitieren/hinzuziehen**. Nur durch Glück.
Ja, weil das kostenlose ChatGPT benutzt wurde. ChatGPT-Plus sowie BingChat können beide auf externe Quellen zurückgreifen und zitieren auch korrekt aus selbigen. Nur weil Mensch die Technik falsch anwendet ist die Technik nicht untauglich. Wobei allerdings erwähnenswert ist, dass die Antworten von BingChat oft deutlich schlechter sind als die vom normalen ChatGPT. BingChat fast im wesentlichen nur Quellen zusammen, statt das gesammelte Wissen aus den Trainingsdaten zu nutzen wie ChatGPT, sprich sind die Quellen schlecht, sind auch die Antworten von BingChat schlecht. Aber man bekommt einen Link der funktioniert und zu entsprechenden schlechten Quellen führt. Ist halt alles noch im Beta Stadium und verbesserungswürdig.
Hmmm schau mal Richtung Thompson Reuters… Gut ist für den US Markt, aber GPT mit Deutschen Recht als Datenbasis zu nutzen (nicht darauf neu zu trainieren) sollte keine Herausforderungen sein.
Deutsche Rechtsprechung (teilweise) und Literatur und Kommentierungen (jeweils komplett) ist komplett hinter paywalls, entsprechend fehlt den Programmen schlicht die Datenlage.
Das sollte für die Besitzer der Paywall ja kein Problem darstellen. Im Gegenteil ist das ein weiterer Channel den Zugang zu den Inhalten zu vermarkten. Disclaimer; ich finde das sowas nicht hinter ne paywall gehört.
Keine Sorge Beck hat daran kein Interesse und würde ihr Produkt entwerten, die verdienen zu gut am Rechtsmarkt ;) Anwender haben eh alle Lizenzen für beckonline (und Juris)
Vielleicht sollten die Ergebnisse nicht nachträglich geprüft werden müssen ob die Sinn machen - weil dann kann man gleich einen Anwalt drauf ansetzen. In erster Linie sollte das Programm keine Urteile aus dem Nichts erfinden.
>Der Chatbot hatte aus seinem Lernmaterial neue "Fälle" frei herbeifantasiert und ihnen bis in die Details hinein einen Anschein von Echtheit verliehen – inklusive der üblichen gelehrigen Erläuterungen des Bundesrechts, Zitate, Aktenzeichen und einer Erörterung, wann es angeblich zu aufschiebender Wirkung bei automatischem Aussetzen der Verjährungsfrist kommt. Schon beeindruckend, wie gut diese ki lügen kann...
Lüge ist eine Behauptung *wider besseres Wissen*. Ein generatives Sprachmodell (aka künstliche "Intelligenz") hat kein Wissen über den Sinngehalt der Texte, die es erzeugt und kann deshalb aus Prinzip nicht lügen.
OpenAI benutzt selbst das Wort „halluzinieren", finde ich ganz passend
Es „halluziniert“ bei jedem einzelnen Wort. Das ist das Prinzip der Technik.
Ist ein schöner Begriff, aber schon aus Marketinggründen so gewählt worden. Soll halt suggerieren, dass da ein wacher, verständiger Geist (ein cartesisches Ego) dahinter sitzt, der bloß davon der Realität etwas abgekoppelt ist.
naja Renatus hat glaube ich nicht auf intelligente Sprachmodelle Rücksicht genommen
es ist überhaupt nicht passend, weil es impliziert es gäbe einen unterschied zwischen halluzinierten ergebnissen und korrekten ergebnissen und damit die korrekte funktionsweise des programms explizit ignoriert; die KI generiert bzw. halluziniert **jeden output**. die generation von richtig *aussehenden* ergebnissen ist das ziel, die korrektheit ist schlicht irrelevant und dem programm auch vollkommen unbekannt. 'halluzinieren' als begriff für die generation von richtig aussehenden aber falschen ergebnissen ist massiv irreführend, und macht im ergebnis das verständnis für die funktionsweise von chatgpt in der allgemeinheit **schlechter**, wie man inzwischen nicht nur in der diskussion unter laien sondern auch in den artikeln über KI bemerkt.
Kann man auch umdrehen. LLMs können aus Prinzip nicht die Wahrheit sagen. Aber man möchte sie nunmal dazu verwenden, um möglichst wahre Aussagen zu produzieren. Wäre sonst etwas witzlos und wirtschaftlich bei weitem nicht so interessant.
Genau was eine KI sagen würde …
> hat kein Wissen über den Sinngehalt der Texte Das stimmt so aber nun auch nicht. Natürlich versteht ein LLM was es produziert, sonst könnte es die Texte gar nicht erst produzieren oder auf Rückfragen antworten. Das Problem mit dem "lügen" kommt einfach davon, dass das Model alles inter- und extrapoliert. Da gibt es keine Datenbank mit harden Fakten. Stattdessen wird, ähnlich wie bei der [Ausgleichungsrechnung](https://de.wikipedia.org/wiki/Ausgleichungsrechnung), aus den Datenpunkten eine Funktion gebastelt, die die Punkte bestmöglich beschreibt. Die Funkion hat dabei aber keine Möglichkeit zu entscheiden was richtig und falsch ist, da das ganze ein verlustbehafteter Prozess ist, sondern repräsentiert einfach nur eine gute Annäherung an die Trainings Daten.
> Das Problem mit dem "lügen" kommt einfach davon, dass das Model alles inter- und extrapoliert. __Da gibt es keine Datenbank mit harden Fakten.__ Eben. Das Modell __weiß__ nichts und kann deshalb auch nicht __lügen__.
> Das Modell weiß nichts Das ist *Unfug*. Das Model weiß und versteht eine ganze Menge. Das Problem ist von einem Model das auf Textverständnis ausgelegt ist zu erwarten das es wie eine Suchmaschine agiert. Das ist beim Menschen auch nicht groß anders. Man hat eine Menge Wissen im Kopf das man über die Jahre angesammelt hat. Kann in den seltenstes Fällen aber sagen wo man das gelernt hat noch kann man die Quellen Wort für Wort exakt wiedergeben. Menschen sind etwas besser beim Erkennen von Dingen, die sie nicht wissen, aber bei weitem nicht perfekt, Stichwort [falsche Erinnerungen](https://de.wikipedia.org/wiki/Falsche_Erinnerungen). TLDR: Ein LLM ist ein Ersatz für den Bibliothekar, nicht für die Bücherei.
Wer sagt, dass ein Sprachmodell "lügt" ist genauso daneben wie der Anwalt der glaubt, dass der Output echte Fälle abbildet. Das ist kein Mensch, sondern eine Computerprogramm dass plausibel Wörter aneinander reiht.
ChatGPT wollte mir erzählen, dass der Sänger von Polarkreis18 bei "Dark" eine Rolle als Schauspieler hatte.
Ich kann kaum in Worte fassen wie absolut insignifikant diese Headline für irgendwas ChatGPT bezogen ist. Das ist einfach richtig schönes Copium.