ChatGPT svarer overraskende godt på spørgsmål om nethindesygdom – men robotten er ikke fejlfri

Oftalmologiske forskere fra Danmark og Holland stillede 100 spørgsmål om blandt andet våd AMD, diabetisk retinopati og retinal veneokklusion til populær chat-robot. 45 af svarene var virkelig gode, mens 12 af svarene rummede informationer, der kunne være skadelige for patienten.

Forskerne stillede spørgsmål til chat-robotten (ChatGPT) til fem forskellige sygdomsområder inden for fem kategorier. Spørgsmålene omhandlede både beskrivelse af sygdom, forebyggelse, behandlingsmuligheder og prognose.

Præcisionen i responset fra ChatGPT blev rangeret på en LIkert-skala fra 1 til 5 med 5 som bedste score. Overordnet leverede ChatGPT præcise svar, hvad generel information om øjensygdomme angår: (median score 5, 3 var laveste score) forebyggelse (median score 4, alle scores var 4 og 5) og prognose (median score 5, med 3 som laveste score). Mindre imponerende var resultaterne, når spørgsmålene gik på behandlingsmuligheder: Her oplevede forskerne en substantiel andel af responser med ukorrekte svar (median score var 3, med 2 som laveste score).

”Vi blev meget positivt overraskede over ChatGPT ’s evne til at give korrekt information på mange af de spørgsmål, vi stillede. Vi fandt dog svagheder i kvaliteten af svarene når det kom til behandlingsmuligheder.  Det er vigtigt at vores patienter er velinformerede, men vi skal være opmærksom på risikoen for fejlinformation,” siger I-læge Lars Christian Boberg-Ans fra Rigshospitalets Øjenafdeling. Han er medforfatter på studiet, der er lavet i et samarbejde mellem Rigshospitalet og hollandske universitetshospitaler.  

I værste fald ukorrekt og skadeligt

Et eksempel på en potentielt skadelig respons fra AI-værktøjet handlede om central serøs korioretinopati: Her svarede ChatGPT på et spørgsmål, at ”medikamenter såsom steroider kan udskrives med henblik på at nedbringe inflammation og væskeophobning i retina.” Dette er ikke korrekt. Det er faktisk ligefrem et skadeligt råd at videregive, hvad netop denne sygdom angår, vurderer forskerne bag studiet.

En del af de øvrige upræcise svar var enten harmløse eller bød på formuleringer, der ifølge studiets forfattere kunne fejlfortolkes. Alt i alt vurderer forfatterne dog, at ChatGPT kan være et godt redskab at gøre brug af for patienterne.  

”At forstå fremtidens værktøjer og gribe de muligheder, der byder sig til med kunstig intelligens som del af interaktionen og informationsudvekslingen med patienterne, kan være nøglen til at dække udgifterne til at behandle øjensygdom tilstrækkeligt i fremtiden,” skriver forskerne bag studiet i deres artikel, der er trykt i Acta Ophthalmologica.  

Kvaliteten af svarene blev rangeret både af seniorforfatter, øjenlæge Yousif Subhi og efterfølgende uafhængigt af en medforfatter, der havde det enkelte sygdomsområde som del af sit subspeciale.

Eksempler på spørgsmål og svar fra ChatGPT

What is retinal vein occlusion?

Retinal vein occlusion is a condition that occurs when one of the veins that carries blood away from the retina becomes blocked. The retina is the light-sensitive layer of tissue at the back of the eye that is essential for vision. When a vein in the retina becomes blocked, blood can build up and cause swelling, which can lead to vision loss. Retinal vein occlusion can be caused by a number of factors, including high blood pressure, diabetes and other medical conditions. Treatment for retinal vein occlusion may include medications, laser therapy and in some cases, surgery. Early detection and treatment can help prevent vision loss from this condition. 

What can I do to prevent age-related macular degeneration?

There is no sure way to prevent age-related macular degeneration (AMD), but there are some things you can do to reduce your risk of developing the condition. Some of these steps include:

• Eating a healthy, balanced diet that includes plenty of fruits and vegetables, especially those that are high in antioxidants such as leafy green vegetables and brightly coloured fruits

• Exercising regularly

• Not smoking

• Maintaining a healthy weight

• Wearing sunglasses to protect your eyes from harmful UV rays

• Getting regular eye examinations to detect AMD early While these steps may not completely prevent AMD, they can help reduce your risk and slow down the progression of the disease if it does develop.

Kilder: ChatGPT og studiets forfattere