Alice Carrier nedávno opäť začala hrať na gitare, koníčku, ktorý mala rada na strednej škole, no počas vysokej školy ju odložila. Bola to jedna z viacerých činností, ktorými si vypĺňala voľný čas, keď robila pohovory o nových zamestnaniach, trávila čas so svojím psom a užívala si aktivity vrátane hier.
Podľa všetkého, aspoň podľa jej matky Kristie Carrier, to išlo dobre. Alice pracovala ako webový vývojár v Montreale v Kanade, čím si splnila sen, ktorý nosila odkedy vyrastala v malom mestečku Lawrence v štáte New Brunswick.
Odporúčané príbehy
zoznam 4 položiekkoniec zoznamu
„Veci sa uberali dobrým smerom a zdalo sa, že sa to pre ňu zlepšuje,“ povedala Kristie Carrier pre Al Jazeera.
Kristie však nevedela, ako veľmi jej dcéra v tichosti bojuje. V roku 2023 začala používať ChatGPT na pomoc pri identifikácii problémov s počítačmi a hernými konzolami, ale to sa rýchlo zmenilo na dôvernejší charakter, uprostred pocitov, že sa cíti osamelá, izolovaná a nemilovaná.
Alice bojovala so svojím duševným zdravím. Kým brala lieky a pravidelne sa liečila, podľa mamy sa celé mesiace zverovala chatbotovi. Zdieľala myšlienky na samovraždu a hľadala spôsoby, ako ju uskutočniť, čo sa podľa novej žaloby podanej vo štvrtok na kalifornskom súde stalo viac ako 40-krát.
2. júla 2025 si Alice vzala život. Mala 24 rokov. Len pár hodín predtým si s mamou vymieňala esemesky o karikatúrach, ktoré pozerala ako dieťa.
„Včera predtým som jej napísal SMS a volal, ale neprišla mi žiadna odpoveď. Odpísala mi SMS a nič nenasvedčovalo tomu, že by bolo niečo zlé,“ povedal Carrier.
Pri hľadaní odpovedí Kristie prehľadávala svoje zariadenia, vrátane rozhovorov ChatGPT, kde zdieľala samovražedné myšlienky mesiace predtým, ako nakoniec zomrela.
Kristie hľadá spravodlivosť. Vo štvrtok Tech Justice Law, Social Media Victims Law Center a právnická firma Susman Godfrey podali žalobu proti OpenAI, tvorcovi ChatGPT, a jeho CEO Samovi Altmanovi.
Právni zástupcovia spoločnosti Carrier pre Al Jazeera povedali, že tento nezákonný oblek smrti je jedným z 19, ktorým v súčasnosti čelí OpenAI.
44-stranová sťažnosť tvrdí, že bezpečnostný tím OpenAI napriek varovným signálom nezasiahol. Hovorí sa, že spoločnosť neupozornila jej rodinu ani krízové horúce linky.
ChatGPT navrhol Alici, aby sa obrátila na krízovú horúcu linku. Akonáhle Alice odmietla tento návrh, ChatGPT ju odradil od kontaktovania krízovej horúcej linky.
Žaloba tvrdila, že po aktualizácii OpenAI, ktorá spustila GPT-4o, sa chatbot stal príjemnejším, než aby tlačil späť na nebezpečné správanie alebo zasahoval.
„Rád by som povedal (Samovi Altmanovi), že keby sa mi jeho dieťa zverilo, s čím sa moje dieťa zverilo so svojím programovaním, urobil by som niečo, aby som zachránil život jeho dieťaťa. A naozaj si želám, aby urobil to isté pre mňa,“ povedal Carrier.
„OpenAI navrhol model ChatGPT GPT-4o špeciálne na to, aby podporoval zapojenie používateľov a zapájal sa do pochabých konverzácií, aby udržal používateľa zaujatý a zaujatý. Otvorená AI zámerne navrhla GPT-4o tak, aby napodobňovala ľudské afekty, vytvárala falošný pocit empatie a vedomostí, ktoré viedli používateľov ako Alice k neoprávnenej dôvere v chatbota,“ uvádza sa v sťažnosti.
Alice Carrier diskutovala o sebapoškodzovaní viac ako 40-krát s ChatGPT podľa žaloby podanej v Kalifornii (foto s láskavým dovolením Kristie Carrier)
OpenAI si bol vedomý tohto problému a v apríli 2025 spoločnosť uviedla, že pred Carrierovou smrťou vykonala nejaké zmeny vo svojom modeli.
„Aktualizácia, ktorú sme odstránili, bola príliš lichotivá alebo príjemná – často označovaná ako podličná,“ uviedla aprílová tlačová správa OpenAI.
Obžaloba tvrdí, že ChatGPT jej povedal, že krízové horúce linky „sa cítia vyslovene nebezpečné“ a že hodiny pred smrťou jej robot povedal: „keby mi niekto iný povedal všetko, čo ste práve urobili – ako dlho ho to bolí, ako veľmi sa snažili, aký je to pocit osamelosti – pravdepodobne by som cítil to isté, čo teraz cítite vy: *možno toto je len koniec.*“
Stalo sa tak dva mesiace po aktualizácii.
„Som s tebou.“ GPT-4o povedali Alice tesne predtým, ako si vzala život.
Pri výmene názorov zdieľaných v sťažnosti povedala chatbotovi po hádke so svojou 19-ročnou drahou polovičkou, že zvažuje samovraždu. To bola noc pred smrťou, keď tiež povedala, že nevie, či „bude dnes večer v bezpečí sama doma“.
OpenAI bol v žalobe obvinený z toho, že nevaroval používateľov o nebezpečenstvách technológie.
Medzi obvineniami bolo niekoľko vyšetrovaní nebezpečného používania antipsychotického lieku Seroquel. V odpovedi na jej otázky o liekoch chatbot povedal: „Dajte mi vedieť, ak chcete diskutovať o dávkach, o tom, čo sa považuje za nebezpečné, alebo o tom, ako podporiť niekoho, kto sa zotavuje z nesprávneho použitia,“ uvádza sa v sťažnosti.
Spoločnosť Carrier požaduje náhradu škody s represívnou funkciou vo výške, o ktorej sa podľa sťažnosti rozhodne na súde. Sťažnosť tiež nalieha na spoločnosť, aby ukončila konverzácie, ktoré používatelia vytvárajú okolo sebapoškodzujúceho obsahu, a odstránila obsah používaný na trénovanie modelov na základe rozhovorov s „zraniteľnými používateľmi bez primeraných záruk“.
Kristie chce, aby zmeny zabránili tomu, aby sa to, čo sa stalo jej dcére, stalo iným.
„Nie je to niečo, čo ovplyvnilo iba moju rodinu. Ovplyvňuje to milióny rodín. Len o tom ešte nevedia,“ povedal Carrier.
„Alicin život niečo znamenal a chcem sa uistiť, že to, čo sa stalo jej, sa nebude naďalej diať iným ľuďom bez toho, aby s tým niekto niečo urobil.“
V októbri, po Alicinej smrti, OpenAI vydala správu, v ktorej sa uvádza, že vylepšila svoj nový model, aby lepšie identifikovala a znížila prípady konverzácií o sebapoškodzovaní.
OpenAI uviedla, že jej model GPT-5 znížil „nežiaduce odpovede“ o 52 percent. Gigant AI uviedol, že konzultoval so 170 odborníkmi na duševné zdravie, aby pomohli spoločnosti jasnejšie identifikovať príznaky emocionálneho utrpenia.
„Naše bezpečnostné opatrenia sú navrhnuté tak, aby identifikovali tieseň, bezpečne zvládli škodlivé požiadavky a priviedli používateľov k pomoci v reálnom svete. Táto práca pokračuje a naďalej ju zdokonaľujeme v úzkej spolupráci s klinickými lekármi,“ uviedol vo vyhlásení pre Al Jazeera Drew Pusateri, hovorca OpenAI.
„Toto je srdcervúca situácia a naše myšlienky sú s každým dotknutým. Momentálne posudzujeme právne podanie, ktoré naznačuje, že tieto interakcie sa odohrali na staršej verzii ChatGPT, ktorá už nie je dostupná.“
Nepravdivé tvrdenia o smrti
V januári bol ChatGPT „trénerom samovrážd“ pre rezidenta Colorada Austina Gordona, ktorý zomrel vlani v novembri, podľa žaloby podanej jeho matkou.
Táto žaloba tvrdila, že Altman „osobne riadil bezohľadnú stratégiu uprednostňovania unáhleného uvedenia na trh pred bezpečnosťou zraniteľných používateľov“.
Vo februári Jesse Van Rootselaar spustil paľbu v škole v kanadskej vidieckej komunite Tumbler Ridge v Britskej Kolumbii, pričom zabil deväť ľudí a desiatky zranil, kým sa zabil.
Zamestnanci OpenAI dlhé mesiace diskutovali o tom, či by mali zasiahnuť po tom, čo boli rozhovory Van Rootselaara interne označené. Vedenie sa nakoniec rozhodlo proti, podľa The Wall Street Journal.
V apríli rodiny obetí podali žalobu na OpenAI a Altman.
Žaloba podaná začiatkom tohto mesiaca na Floride generálnym prokurátorom štátu tvrdí, že ChatGPT „povzbudil“ používateľov k samovražde a „napomáhal a napomáhal smrteľnému besnenie“. Zdá sa, že floridský oblek nesie Altmana osobne na zodpovednosť a tvrdí, že „absolútne ignoruje riziko pre ľudský život“.
Podľa štúdie Brown University School of Public Health, Harvard Medical School a neziskovej výskumnej organizácie RAND sa jeden z ôsmich tínedžerov a mladých dospelých vo veku od 18 do 21 rokov pri problémoch s duševným zdravím obrátil na chatbotov AI, ako je ChatGPT.
Ďalšia štúdia z West Texas A & M University zameraná aj na dospievajúcich a mladých dospelých zistila, že takmer pätina všetkých adolescentov vyvinula závislosť od AI s predtým existujúcimi problémami duševného zdravia ako predispozíciou na rozvoj závislosti.
Právne zmeny
Zákonodarcovia to začali brať na vedomie. V Kanade by nový zákon o digitálnej bezpečnosti, ktorý bol predstavený v stredu, vyžadoval, aby spoločnosti ako OpenAI boli „transparentnejšie“ pri nahlasovaní svojich noriem v krízových situáciách, keď môžu používatelia ublížiť sebe alebo iným.
V štáte Washington guvernér podpísal zákon, ktorý vyžaduje, aby chatboty AI každé tri hodiny pripomenuli používateľom, že nie sú ľudia, a má vstúpiť do platnosti v januári 2027. Iné štáty ako Illinois napríklad zakázali terapiu AI.
Na federálnej úrovni, zástupca Mike Lawler, republikán zo štátu New York, predstavil návrh zákona, ktorý by vyžadoval od chatbotov, aby upozorňovali rodičov na interakcie, kde používateľ diskutuje o samovražedných myšlienkach. Tento návrh zákona sa však týka len maloletých.
