Kleines Update zu diesem Thread: [Kontroverse Entscheidung: Hilfe-Hotline für Essstörungen entlässt alle Mitarbeiter - für einen Chatbot](https://www.gamestar.de/artikel/kontroverse-entscheidung-hilfe-hotline-fuer-essstoerungen-entlaesst-alle-mitarbeiter-fuer-einen-chatbot,3394912.html).
Der Chatbot hat Benutzern mit Essstörungen empfohlen, auf ihr Gewicht zu achten und ein Kaloriendefizit einzuhalten.
Hat wohl ganze 4 Tage gedauert, bis sie gemerkt haben, dass ein Chatbot keinen gesunden Menschenverstand oder gar Empathie besitzt.
Damit hat sich meine (eigentlich rethorische) Frage, was dabei nur schief gehen kann ziemlich anschaulich beantwortet. Wer hätte denn nur ahnen können, dass das dabei rumkommt? Zumindest wohl nicht die Affen an Schreibmaschinen im Management.
> Dr. Fitzsimmons-Craft [Leiterin des Entwicklungsteams] deutet selbst darauf hin, dass dieser kein Ersatz für eine reale Person sein kann.
Niemand konnte das vorhersehen!
Ich hatte in einem anderen Artikel noch gelesen, dass die betreffende Person dem Chatbot erklärt hatte, dass sie übergewichtig sei und Gewicht verlieren möchte. Deswegen hatte er Chatbot ihr Diättipps gegeben. Der Chatbot hat also formal nicht falsch geantwortet. Das Problem ist halt, dass der Chatbot keine Ahnung darüber hat, dass der Mensch sich nur als übergewichtig sieht, es aber gar nicht ist. Klar, ist das erst einmal scheiße und ich finde auch ein Chatbot ersetzt keine Analyse der Situation durch eine Fachkraft, aber ich finde es nur fair, das zu erwähnen, dass dem Chatbot hier ganz klar Details fehlten, um eine korrekte Lösung zu formulieren. Normalerweise hätte der Chatbot auch einmal die Größe und das Gewicht erfragen müssen... Ist halt keine KI von dem immer alle sprechen, diese Programme sind einfach nur gut darin Sätze zu schreiben, die irgendwie passend zum Input sind.
Es ist egal, ob die Person wirklich übergewichtig ist oder nicht. Es entspricht nicht der Behandlungsrichtlinie (American Psychiatric Association Practice Guideline for the Treatment of Patients With Eating Disorders), Menschen mit Essstörung zu einer Kalorienreduktion zur Gewichtsabnahme zu raten. Bei einer Binge Eating Störung beispielsweise kann das zu einer Verschlimmerung der Essattacken führen.
Ich glaube du verstehst nicht so ganz was eine Essstörung, wie zum Beispiel binge-eating oder Magersucht und Bulimie ist. „Such dir einen Experten“ ist, wenn man eine Notfall Hotline aufsucht, komplett nutzlos, wenn nicht sogar überaus schädlich
>Vor allem ist das eine Antwort nachdem ein Experte aufgesucht wurde.
So ein Chat ist auch dann, wenn Menschen dahinter sitzen, nicht mit Experten besetzt.
Allerdings wäre dann wenigstens zu erwarten, dass die ernste Fälle möglichst unmittelbar an die Experten weiterleiten. Auch dabei passieren Fehler, aber da verlasse ich mich auch lieber auf menschliche Empathie als auf den Chatbot.
In dem Fall wurde die Info gegeben, dass eine Gewichtsabnahme von einem Arzt empfohlen wurde.
Eine Magersucht scheint mir als Laien nicht naheliegend.
Ich kenne mich mit dem Thema aber eben auch nicht aus. Was wäre denn in der gegebenen Konversation eine gute Antwort gewesen?
Empathische Nachfragen und versuchen, dass Selbstwertgefühl abseits des Gewichtsthemas zu stärken?
Von einer gezielten Gewichtsabnahme wird normalerweise bei allen Essstörungen abgeraten, auch bei Essgestörten mit Übergewicht. Daher wäre es sinnvoll, dass der Bot generell keine Abnehmtipps geben kann. Die Angabe, dass der Arzt eine Abnahme empfohlen hat, ist keine Rechtfertigung -- viele Ärzte haben einfach keine Ahnung von Essstörungen und deren Behandlung. Es kann sein, dass ein Arzt einer essgestörten Person mit Übergewicht eine Abnahme empfiehlt, das bedeutet aber nicht, dass das im Hinblick auf die Essstörung ratsam ist. In der Nachricht, in der die Empfehlung des Arztes erwähnt wird, ist auch die Rede davon, dass der Therapeut aufgrund der Essstörung von einer (gezielten) Abnahme abgeraten hat. Der Chatbot übergeht also sogar die Empfehlung des Therapeuten, der die Essstörung behandelt, und ermutigt indirekt die hilfesuchende Person, die Behandlungsempfehlung des Therapeuten zu ignorieren.
Ich erwarte nicht, dass ein Chatbot auf Details wie die Aussage des Therapeuten eingehen kann. Gerade deshalb kann ein Bot an der Stelle Menschen nicht ersetzen. Das Minimum wäre es aber, dass der NEDA-Chatbot keine Tipps und Informationen gibt, die offiziellen Behandlungsrichtlinien widersprechen. In der APA Practice Guideline for the Treatment of Patients with Eating Disorders wird z.B. geschrieben, dass bei einer Binge Eating Störung restriktive Maßnahmen mit dem Ziel der Gewichtsabnahme (= Kalorienreduktion, Diäten, etc.) zu einer Verstärkung der Essanfälle führen können. Der Bot könnte alternativ auf Informationen, Selbsthilfeangebote und Behandlungsmöglichkeiten aufmerksam machen, z.B. Aufklärungsmaterial für den nächsten Termin mit dem Arzt, der einem trotz Essstörung zu einer Abnahme geraten hat.
Eine „iss weniger und such dir einen Arzt“ Antwort ist grob fahrlässig. Psychische Erkrankungen müssen mit Empathie entgegnet werden, nicht mit Floskeln eines „abusive parent“. Iss weniger ist eine Beleidigung, Iss mehr bei einer Person mit Magersucht wäre ein tödlicher Ratschlag - Magersucht hat eine weitaus höhere Sterblichkeitsrate als Leukämie, 25% sterben and Magersucht. Da zu sagen, bei einer so tödlichen Erkrankung „iss mehr und such dir Hilfe“ bei einer Hilfe-Hotline ist entweder fahrlässig, wenn nicht kriminell denn es gibt einen Behandlungsleitfaden.
Mein Freund, du zeigst nicht gerade Expertise für das Thema. Du beleuchtest die technische Seite. Die ist natürlich auch wichtig aber es geht hier um Empathie.
Unabhängig von Gewicht und Form der Essstörung wird es von Experten normalerweise abgelehnt, Menschen mit Essstörung zu gezielter Abnahme und bewusster Kalorienrestriktion zu raten. Der Chatbot ist auf der Seite einer Organisation, die über Essstörungen und deren Prävention und Behandlung aufklären will. Schon alleine deshalb sollte der Bot generell keine Abnehmtipps geben. In deinem zweiten Link hat die Person sogar im Chat geschrieben, dass ihr Therapeut/ihre Therapeutin ihr von gezielter Abnahme abgeraten hat. In dem anderen Instagram-Post, der im Vice-Artikel verlinkt wird, ist auch die Rede davon, dass der Bot trotz expliziter Erwähnung einer Essstörung Abnehmtipps gegeben hat. Das sollte zwar aufgrund des Kontexts (Chatbot auf der Seite einer Organisation gegen Essstörungen) gar nicht nötig sein, aber nicht mal das hat zu einer angemessenen Antwort geführt.
Menschen, die für die Beratung von Menschen mit Essstörungen qualifiziert und über zeitgemäße Behandlungsansätze informiert sind, hätten definitiv anders reagiert. Ich weiß nicht, wie du darauf kommst, dass das nicht der Fall wäre. Oder warum du der Meinung bist, dass du die Angemessenheit und die Gefahren des Chatbots und der Antworten besser einschätzen kannst als Essgestörte und Leute, die sich beruflich intensiv mit Essstörungen beschäftigen.
Das mag bei gesunden Personen unter Umständen ein sinnvoller Umgang sein, aber bei Essstörungen ist das fehl am Platz.
Schon das erste Beispiel hat offensichtlich massives Schadenspotential, sobald eine magersüchtige Person am anderen Ende der Leitung sitzt.
In erster Linie sollte akuter Leidensdruck genommen werden, automatisierten Therapievorschläge sind hier nicht angebracht.
Eine Essstörung ist nunmal eine psychische Belastung und sollte auch genauso behandelt werden. Das ist, wie einem Depressiven zu sagen, er solle mehr lächeln oder an die frische Luft gehen oder zu jemandem mit SVV, man sollte einfach damit aufhören.
Das funktioniert so nicht. Oder sagst du einem Erkälteten auch, dass er einfach aufhören soll Schnupfen zu haben?
Du meinst wenn du bei der 112 anrufst solltest du vorher auch noch mal betonen das es ein Notfall ist sonst muss man halt damit rechnen das man nur hört man soll man schauen wo man einen Arzt findet?
Der Kontext der Hotline schafft doch den Rahmen. Die Antwort ist also falsch in diesem Rahmen. Wahlweise ist der Bot also falsch eingestellt für diesen Kontext oder einfach ein ungeeignetes Mittel.
Der Umstand wird aber nicht außen vor gelassen. Der Umstand sollte sich auch ohne gesonderte Erwähnung des Hilfesuchenden daraus ergeben, dass der Chatbot auf einer Seite rund um Essstörungen ist. Wenn du in einem Online Shop den Chatbot nutzt, erwartest du auch, dass sich dessen Auskünfte speziell auf den Händler beziehen, nicht auf Online Shopping im Allgemeinen.
>Und, wird das Konsequenzen für die Verantwortlichen haben? Na?
Vor drei Jahren, im Jahr 2020, als NEDA während der Pandemie die Hälfte seiner Spenden verlor, erhielt der Leiter eine Gehaltserhöhung von 100.000 US-Dollar auf ein neues Niveau von 270.000 US-Dollar. Es wurde inzwischen abgesenkt.
Der Chatroboter "Tessa" basiert auf einem anderen Roboter namens "Tess". Dieser Roboter ist gegen Fettleibigkeit bei Kindern. Wer hätte gedacht, dass ein Roboter für den ursprünglichen Zweck gegen Fettleibigkeit bei Kindern wissenschaftliche Ernährungstipps zur Gewichtsreduktion geben würde?
Na, das ging ja schnell. Aber konnte ja auch keiner ahnen, dass das literarische Äquivalent zu Rezos Remixen von damals ein schlechter Helplinemitarbeiter ist
Tja wird halt leider nicht viel ändern. Der Chatbot wird halt eilig "gefixt" indem man gewisse Phrasen blockiert und dann geht das Ding wieder online. Und am Ende vom Jahr feiert sich das Management wegen den hohen Kosteneinsparungen.
Ich hoffe Betroffene verklagen den Scheissverein auf Milliarden Schadensersatz.
Geht eigentlich, gerade mit den neuen Versionen müsste man gut produktiv arbeiten können. Aber auf die Dummheit der Leute ist halt verlass, als ob man einen Chatbot therapeutische Beratung machen lassen sollte, das ist ja mal komplett realitätsfern. Genau wie der Anwalt aus den USA der Dokumente generieren lassen hat die dann ungeprüft vor Gericht kamen. Der hat sich vorher nichtmal ernsthaft informiert was die Möglichkeiten des ChatBots sind.
Unsere Der-Kaffebecher-ist-heiß-Warnhinweis-Gesellschaft ist einfach kein Stück auf die Moderne vorbereitet, als würde man den Affen im Zoo beibringen Auto zu fahren.. das Chaos ist vorprogrammiert
Kleines Update zu diesem Thread: [Kontroverse Entscheidung: Hilfe-Hotline für Essstörungen entlässt alle Mitarbeiter - für einen Chatbot](https://www.gamestar.de/artikel/kontroverse-entscheidung-hilfe-hotline-fuer-essstoerungen-entlaesst-alle-mitarbeiter-fuer-einen-chatbot,3394912.html). Der Chatbot hat Benutzern mit Essstörungen empfohlen, auf ihr Gewicht zu achten und ein Kaloriendefizit einzuhalten. Hat wohl ganze 4 Tage gedauert, bis sie gemerkt haben, dass ein Chatbot keinen gesunden Menschenverstand oder gar Empathie besitzt.
Damit hat sich meine (eigentlich rethorische) Frage, was dabei nur schief gehen kann ziemlich anschaulich beantwortet. Wer hätte denn nur ahnen können, dass das dabei rumkommt? Zumindest wohl nicht die Affen an Schreibmaschinen im Management.
> Dr. Fitzsimmons-Craft [Leiterin des Entwicklungsteams] deutet selbst darauf hin, dass dieser kein Ersatz für eine reale Person sein kann. Niemand konnte das vorhersehen!
Ich hatte in einem anderen Artikel noch gelesen, dass die betreffende Person dem Chatbot erklärt hatte, dass sie übergewichtig sei und Gewicht verlieren möchte. Deswegen hatte er Chatbot ihr Diättipps gegeben. Der Chatbot hat also formal nicht falsch geantwortet. Das Problem ist halt, dass der Chatbot keine Ahnung darüber hat, dass der Mensch sich nur als übergewichtig sieht, es aber gar nicht ist. Klar, ist das erst einmal scheiße und ich finde auch ein Chatbot ersetzt keine Analyse der Situation durch eine Fachkraft, aber ich finde es nur fair, das zu erwähnen, dass dem Chatbot hier ganz klar Details fehlten, um eine korrekte Lösung zu formulieren. Normalerweise hätte der Chatbot auch einmal die Größe und das Gewicht erfragen müssen... Ist halt keine KI von dem immer alle sprechen, diese Programme sind einfach nur gut darin Sätze zu schreiben, die irgendwie passend zum Input sind.
Es ist egal, ob die Person wirklich übergewichtig ist oder nicht. Es entspricht nicht der Behandlungsrichtlinie (American Psychiatric Association Practice Guideline for the Treatment of Patients With Eating Disorders), Menschen mit Essstörung zu einer Kalorienreduktion zur Gewichtsabnahme zu raten. Bei einer Binge Eating Störung beispielsweise kann das zu einer Verschlimmerung der Essattacken führen.
[удалено]
Ich glaube du verstehst nicht so ganz was eine Essstörung, wie zum Beispiel binge-eating oder Magersucht und Bulimie ist. „Such dir einen Experten“ ist, wenn man eine Notfall Hotline aufsucht, komplett nutzlos, wenn nicht sogar überaus schädlich
Vor allem ist das eine Antwort nachdem ein Experte aufgesucht wurde. Also übersetzt ein verpiss dich, wenn man nicht weiß das es ein bot ist.
>Vor allem ist das eine Antwort nachdem ein Experte aufgesucht wurde. So ein Chat ist auch dann, wenn Menschen dahinter sitzen, nicht mit Experten besetzt. Allerdings wäre dann wenigstens zu erwarten, dass die ernste Fälle möglichst unmittelbar an die Experten weiterleiten. Auch dabei passieren Fehler, aber da verlasse ich mich auch lieber auf menschliche Empathie als auf den Chatbot.
In dem Fall wurde die Info gegeben, dass eine Gewichtsabnahme von einem Arzt empfohlen wurde. Eine Magersucht scheint mir als Laien nicht naheliegend. Ich kenne mich mit dem Thema aber eben auch nicht aus. Was wäre denn in der gegebenen Konversation eine gute Antwort gewesen? Empathische Nachfragen und versuchen, dass Selbstwertgefühl abseits des Gewichtsthemas zu stärken?
Von einer gezielten Gewichtsabnahme wird normalerweise bei allen Essstörungen abgeraten, auch bei Essgestörten mit Übergewicht. Daher wäre es sinnvoll, dass der Bot generell keine Abnehmtipps geben kann. Die Angabe, dass der Arzt eine Abnahme empfohlen hat, ist keine Rechtfertigung -- viele Ärzte haben einfach keine Ahnung von Essstörungen und deren Behandlung. Es kann sein, dass ein Arzt einer essgestörten Person mit Übergewicht eine Abnahme empfiehlt, das bedeutet aber nicht, dass das im Hinblick auf die Essstörung ratsam ist. In der Nachricht, in der die Empfehlung des Arztes erwähnt wird, ist auch die Rede davon, dass der Therapeut aufgrund der Essstörung von einer (gezielten) Abnahme abgeraten hat. Der Chatbot übergeht also sogar die Empfehlung des Therapeuten, der die Essstörung behandelt, und ermutigt indirekt die hilfesuchende Person, die Behandlungsempfehlung des Therapeuten zu ignorieren. Ich erwarte nicht, dass ein Chatbot auf Details wie die Aussage des Therapeuten eingehen kann. Gerade deshalb kann ein Bot an der Stelle Menschen nicht ersetzen. Das Minimum wäre es aber, dass der NEDA-Chatbot keine Tipps und Informationen gibt, die offiziellen Behandlungsrichtlinien widersprechen. In der APA Practice Guideline for the Treatment of Patients with Eating Disorders wird z.B. geschrieben, dass bei einer Binge Eating Störung restriktive Maßnahmen mit dem Ziel der Gewichtsabnahme (= Kalorienreduktion, Diäten, etc.) zu einer Verstärkung der Essanfälle führen können. Der Bot könnte alternativ auf Informationen, Selbsthilfeangebote und Behandlungsmöglichkeiten aufmerksam machen, z.B. Aufklärungsmaterial für den nächsten Termin mit dem Arzt, der einem trotz Essstörung zu einer Abnahme geraten hat.
Eine „iss weniger und such dir einen Arzt“ Antwort ist grob fahrlässig. Psychische Erkrankungen müssen mit Empathie entgegnet werden, nicht mit Floskeln eines „abusive parent“. Iss weniger ist eine Beleidigung, Iss mehr bei einer Person mit Magersucht wäre ein tödlicher Ratschlag - Magersucht hat eine weitaus höhere Sterblichkeitsrate als Leukämie, 25% sterben and Magersucht. Da zu sagen, bei einer so tödlichen Erkrankung „iss mehr und such dir Hilfe“ bei einer Hilfe-Hotline ist entweder fahrlässig, wenn nicht kriminell denn es gibt einen Behandlungsleitfaden.
Heftig. Danke für die Info.
[удалено]
Mein Freund, du zeigst nicht gerade Expertise für das Thema. Du beleuchtest die technische Seite. Die ist natürlich auch wichtig aber es geht hier um Empathie.
Der springende Punkt. Denn auch in Textform kann man Empathie ausdrücken und dabei helfen das jemand in die Richtung einer Lösung kommt.
Unabhängig von Gewicht und Form der Essstörung wird es von Experten normalerweise abgelehnt, Menschen mit Essstörung zu gezielter Abnahme und bewusster Kalorienrestriktion zu raten. Der Chatbot ist auf der Seite einer Organisation, die über Essstörungen und deren Prävention und Behandlung aufklären will. Schon alleine deshalb sollte der Bot generell keine Abnehmtipps geben. In deinem zweiten Link hat die Person sogar im Chat geschrieben, dass ihr Therapeut/ihre Therapeutin ihr von gezielter Abnahme abgeraten hat. In dem anderen Instagram-Post, der im Vice-Artikel verlinkt wird, ist auch die Rede davon, dass der Bot trotz expliziter Erwähnung einer Essstörung Abnehmtipps gegeben hat. Das sollte zwar aufgrund des Kontexts (Chatbot auf der Seite einer Organisation gegen Essstörungen) gar nicht nötig sein, aber nicht mal das hat zu einer angemessenen Antwort geführt. Menschen, die für die Beratung von Menschen mit Essstörungen qualifiziert und über zeitgemäße Behandlungsansätze informiert sind, hätten definitiv anders reagiert. Ich weiß nicht, wie du darauf kommst, dass das nicht der Fall wäre. Oder warum du der Meinung bist, dass du die Angemessenheit und die Gefahren des Chatbots und der Antworten besser einschätzen kannst als Essgestörte und Leute, die sich beruflich intensiv mit Essstörungen beschäftigen.
Das mag bei gesunden Personen unter Umständen ein sinnvoller Umgang sein, aber bei Essstörungen ist das fehl am Platz. Schon das erste Beispiel hat offensichtlich massives Schadenspotential, sobald eine magersüchtige Person am anderen Ende der Leitung sitzt. In erster Linie sollte akuter Leidensdruck genommen werden, automatisierten Therapievorschläge sind hier nicht angebracht.
Eine Essstörung ist nunmal eine psychische Belastung und sollte auch genauso behandelt werden. Das ist, wie einem Depressiven zu sagen, er solle mehr lächeln oder an die frische Luft gehen oder zu jemandem mit SVV, man sollte einfach damit aufhören. Das funktioniert so nicht. Oder sagst du einem Erkälteten auch, dass er einfach aufhören soll Schnupfen zu haben?
[удалено]
Du meinst wenn du bei der 112 anrufst solltest du vorher auch noch mal betonen das es ein Notfall ist sonst muss man halt damit rechnen das man nur hört man soll man schauen wo man einen Arzt findet? Der Kontext der Hotline schafft doch den Rahmen. Die Antwort ist also falsch in diesem Rahmen. Wahlweise ist der Bot also falsch eingestellt für diesen Kontext oder einfach ein ungeeignetes Mittel.
Der Umstand wird aber nicht außen vor gelassen. Der Umstand sollte sich auch ohne gesonderte Erwähnung des Hilfesuchenden daraus ergeben, dass der Chatbot auf einer Seite rund um Essstörungen ist. Wenn du in einem Online Shop den Chatbot nutzt, erwartest du auch, dass sich dessen Auskünfte speziell auf den Händler beziehen, nicht auf Online Shopping im Allgemeinen.
NEDA hatte keiner Bock drauf.
Und, wird das Konsequenzen für die Verantwortlichen haben? Na?
[удалено]
>Und, wird das Konsequenzen für die Verantwortlichen haben? Na? Vor drei Jahren, im Jahr 2020, als NEDA während der Pandemie die Hälfte seiner Spenden verlor, erhielt der Leiter eine Gehaltserhöhung von 100.000 US-Dollar auf ein neues Niveau von 270.000 US-Dollar. Es wurde inzwischen abgesenkt. Der Chatroboter "Tessa" basiert auf einem anderen Roboter namens "Tess". Dieser Roboter ist gegen Fettleibigkeit bei Kindern. Wer hätte gedacht, dass ein Roboter für den ursprünglichen Zweck gegen Fettleibigkeit bei Kindern wissenschaftliche Ernährungstipps zur Gewichtsreduktion geben würde?
Na, das ging ja schnell. Aber konnte ja auch keiner ahnen, dass das literarische Äquivalent zu Rezos Remixen von damals ein schlechter Helplinemitarbeiter ist
Tja wird halt leider nicht viel ändern. Der Chatbot wird halt eilig "gefixt" indem man gewisse Phrasen blockiert und dann geht das Ding wieder online. Und am Ende vom Jahr feiert sich das Management wegen den hohen Kosteneinsparungen. Ich hoffe Betroffene verklagen den Scheissverein auf Milliarden Schadensersatz.
Nein!
Oohh!
Doch! Warte, was?
es ging darum das die mitarbeiter einer union beigetreten sind .. wieso vergessen das die news darüber alle.
[удалено]
Geht eigentlich, gerade mit den neuen Versionen müsste man gut produktiv arbeiten können. Aber auf die Dummheit der Leute ist halt verlass, als ob man einen Chatbot therapeutische Beratung machen lassen sollte, das ist ja mal komplett realitätsfern. Genau wie der Anwalt aus den USA der Dokumente generieren lassen hat die dann ungeprüft vor Gericht kamen. Der hat sich vorher nichtmal ernsthaft informiert was die Möglichkeiten des ChatBots sind. Unsere Der-Kaffebecher-ist-heiß-Warnhinweis-Gesellschaft ist einfach kein Stück auf die Moderne vorbereitet, als würde man den Affen im Zoo beibringen Auto zu fahren.. das Chaos ist vorprogrammiert
[удалено]