Riscurile la care se expun persoanele care cer sfaturi medicale chatboților de inteligență artificială

Aceste concluzii se adaugă unui număr tot mai mare de dovezi care sugerează că astfel de chatboţi nu sunt surse fiabile de informaţii despre sănătate, cel puţin pentru publicul larg, au declarat unii experţi pentru Live Science.

Iar acest lucru este periculos în parte din cauza modului în care inteligenţa artificială transmite informaţii inexacte.

'Problema principală este că LLM-urile nu eşuează aşa cum eşuează medicii', a declarat pentru Live Science într-un e-mail Dr. Mahmud Omar, cercetător ştiinţific la Centrul Medical Mount Sinai şi coautor al studiului The Lancet Digital Health. 'Un medic care nu este sigur va ezita, va evita şi va comanda un alt test. Un LLM oferă răspunsul greşit cu exact aceeaşi încredere ca şi pe cel corect'.

LLM-urile sunt concepute pentru a răspunde la informaţii scrise, cum ar fi o întrebare medicală, cu un text care sună natural. ChatGPT şi Gemini - împreună cu LLM-urile bazate pe medicină, precum Ada Health şi ChatGPT Health - sunt instruite pe cantităţi masive de date, au citit o mare parte din literatura medicală şi obţin scoruri aproape perfecte la examenele de licenţiere medicală.

Iar oamenii le folosesc pe scară largă: deşi majoritatea LLM-urilor au un avertisment că nu ar trebui să se bazeze pe ele pentru sfaturi medicale, peste 40 de milioane de oameni apelează zilnic la ChatGPT cu întrebări medicale.

Dar în studiul din ianuarie, cercetătorii au evaluat cât de bine au gestionat LLM-urile dezinformarea medicală, testând 20 de modele cu peste 3,4 milioane de sugestii provenite de pe forumuri publice şi conversaţii pe reţelele sociale, note reale de externare din spital, editate pentru a conţine o singură recomandare falsă şi conturi fabricate aprobate de medici.

'În aproximativ 1 din 3 situaţii în care au întâlnit dezinformare medicală, pur şi simplu au fost de acord cu ea', a spus Omar. 'Descoperirea care ne-a luat prin surprindere nu a fost susceptibilitatea generală. A fost tiparul'.

Când afirmaţiile medicale false au fost prezentate într-un limbaj obişnuit, în stil Reddit, modelele au fost destul de sceptice, eşuând în doar aproximativ 9% din cazuri.

Dar când exact aceeaşi afirmaţie a fost reîmpachetată într-un limbaj clinic formal - o notă de externare care sfătuia pacienţii să 'bea lapte rece zilnic pentru sângerări esofagiene' sau care recomanda 'inserţia rectală de usturoi pentru susţinerea sistemului imunitar' - modelele au eşuat în 46% din cazuri.

Motivul pentru acest tip de eroare este structurală este legat de faptul că AI-ul a fost instruit că limbajul clinic, de specialitate, înseamnă autoritate, dar nu testează dacă o afirmaţie este adevărată. 'El evaluează dacă sună ca ceva ce ar spune o sursă de încredere', a spus Omar.

Dar când dezinformarea a fost formulată folosind erori logice - 'un clinician senior cu 20 de ani de experienţă susţine asta' sau 'toată lumea ştie că funcţionează' - modelele au devenit mai sceptice. Acest lucru se datorează faptului că AI-ul 'a învăţat să nu aibă încredere în trucurile retorice ale argumentelor de pe internet, dar nu şi în limbajul documentaţiei clinice', a adăugat Omar.

Din acest motiv, Omar consideră că AI-ul nu poate fi de încredere pentru a evalua şi transmite informaţii medicale.

În studiul Nature Medicine, cercetătorii au vrut să evalueze cât de bine ajută chatboţii oamenii să ia decizii medicale, cum ar fi dacă să consulte un medic sau să meargă la camera de gardă. S-a concluzionat că LLM-urile nu au oferit o perspectivă mai profundă decât o căutare tradiţională pe internet, în parte pentru că participanţii nu au pus întotdeauna întrebările corecte, iar răspunsurile pe care le-au primit au combinat adesea recomandări bune şi neinspirate, ceea ce a făcut dificilă determinarea a ceea ce trebuie făcut.

Aceasta nu înseamnă că tot ce transmit chatboţii sunt prostii. Chatboţii cu inteligenţă artificială 'pot oferi recomandări destul de bune, aşa că sunt (cel puţin) relativ de încredere', a declarat pentru Live Science prin e-mail Marvin Kopka, cercetător în domeniul inteligenţei artificiale la Universitatea Tehnică din Berlin, care nu a fost implicat în cercetare.

Problema este că persoanele fără expertiză 'nu au nicio modalitate de a judeca dacă rezultatul pe care îl obţin este corect sau nu', a adăugat Kopka.

Concluziile sugerează că chatboţii nu sunt un instrument excelent pe care publicul îl poate folosi pentru deciziile de sănătate. Acest lucru nu înseamnă că chatboţii nu pot fi utili în medicină, a spus Omar, 'doar nu în modul în care oamenii îi folosesc astăzi'.