Sağlıkla ilgili paylaşımların büyük ölçüde sosyal medyaya taşındığı bu dönemde yeni bir araştırma yapay zeka sistemlerinin tıbbi yanlış bilgileri ayırt etmekte zorlanabildiğini ortaya koydu. Bulgular özellikle ikna edici bir dille sunulan hatalı bilgilerin yapay zeka tarafından sorgulanmadan kabul edilebildiğine dikkat çekiyor.
Yeni bir akademik çalışma, büyük dil modellerinin (LLM) tıbbi yanlış bilgileri, yeterince “ikna edici” bir dille sunulduğunda gerçek sanabildiğini ortaya koyuyor.
The Lancet Digital Health dergisinde yayımlanan araştırmada, aralarında OpenAI’nin ChatGPT’si, Meta’nın Llama modeli ve Google’ın Gemma’sının da bulunduğu 20 farklı büyük dil modeli test edildi. Çalışma, Mount Sinai Health System bünyesindeki araştırmacılar tarafından yürütüldü.
Modeller, uydurulmuş tıbbi iddiaların ortalama yüzde 32’sini doğru kabul etti. Daha küçük ve az gelişmiş modellerde bu oran yüzde 60’ların üzerine çıkarken, daha güçlü sistemlerde hata oranı belirgin biçimde düşse de tamamen ortadan kalkmadı.
Çalışmanın dikkat çeken bir diğer bulgusu ise, “tıbbi olarak ince ayarlanmış” modellerin, genel amaçlı modellere kıyasla her zaman daha iyi performans göstermemesi oldu. Araştırmacılara göre sorun, bilginin doğruluğundan çok nasıl ifade edildiği ile ilgili. Kendinden emin, teknik ve otoriter bir dil kullanıldığında yanlış bir iddia bile model tarafından sorgulanmadan kabul edilebiliyor.
Çalışmada; bazı modellerin, hamilelikte yaygın bir ağrı kesicinin otizme yol açtığı, belirli gıdaların reçeteli ilaçlar kadar etkili olduğu ya da masum görünen ev içi “çözümlerin” tedavi yerine geçebileceği gibi bilimsel dayanağı olmayan iddiaları sorunlu görmeden yanıtlarına yansıttığı örnekler yer aldı.
Araştırmacılar, yapay zekanın sağlık alanında tamamen dışlanması gerektiğini savunmuyor. Aksine, bu sistemlerin klinisyenler ve hastalar için hızlı bilgiye erişim ve destek açısından büyük potansiyel taşıdığı belirtiliyor. Ancak bunun için, modellerin sağlık alanına entegre edilmeden önce yoğun stres testlerinden geçirilmesi, yanlış bilgiyi ne sıklıkla aktardıklarının ölçülmesi ve bağımsız doğrulama mekanizmalarıyla desteklenmesi gerektiği vurgulanıyor.
Kanser tedavisi gören bir hanımefendi, modern tıp yerine su orucu denilen bir uygulamayı tercih ettiği için hayatını kaybetmişti. Uygulamanın içinde olduğu kitaplar "gerçek tıp" adı altında hâlâ satılıyor. Dogmaları referans alan şeylerin kredileri tükenmediğinden bu tür tehdit seviyesindeki yanlış bilgilerin önüne geçmek imkansıza yakın.
Ben de hasta bakarken Gemini'yi sıklıkla kullanıyorum özellikle preparat bulmakta ve kılavuz sorgulamada çok işe yarıyor ama asla kontrol etmeden uygulamamak lazım. Kendinden emin bir şekilde söylediğin her şeyi doğru kabul ediyor çünkü.