Malang Posco Media – Sebuah penelitian menunjukan chatbot ChatGPT yang dilengkapi teknologi kecerdasan buatan (AI) dapat menjawab soal-soal dalam ujian radiologi yang menunjukkan potensi dari algoritma large language model dalam menjawab pertanyaan sekaligus batasan yang dimiliki ChatGPT.
Untuk menguji kemampuan dari ChatGPT, tim peneliti dari University Medical Imaging Toronto memberikan 150 soal pilihan ganda yang didesain dengan tingkat kesulitan, isi konten, dan model soal seperti yang diterapkan dalam ujian radiologi di Canadian Royal College dan American Board of Radiology.
Peneliti menggunakan versi ChatGPT terbaru yaitu GPT-4 dan chatbot tersebut berhasil menjawab 121 dari 150 soal dengan benar yang termasuk soal yang bersifat high order thinking (kemampuan berpikir tingkat tinggi).
Hasil yang ditunjukan GPT-4 lebih baik dibandingkan versi sebelumnya yaitu GPT-3.5 yang umum digunakan masyarakat. GPT-3.5 hanya menjawab 104 soal dengan benar serta mengalami kesulitan dalam menjawab soal high order thinking.
“Riset kami menunjukkan peningkatan mengagumkan terkait performa ChatGPT pada radiologi selama periode waktu yang singkat, hal tersebut menyoroti pertumbuhan potensi dari large language model dalam konteks ini,” kata kepala tim riset, Dr. Rajesh Bhayana, M.D., FRCPC dilansir dari laman Medical Xpress yang rilis pada 16 Mei 2023.
Namun percobaan tersebut juga menunjukkan GPT-4 salah dalam menjawab 12 soal yang bisa dijawab dengan benar oleh GPT-3.5 sehingga menimbulkan keraguan terkait dengan ketepatan GPT-4 dalam mengumpulkan informasi.
Riset tersebut juga menunjukkan ChatGPT menggunakan bahasa yang meyakinkan dalam menjawab pertanyaan bahkan jika jawaban yang diberikan tidak tepat hal tersebut akan berbahaya apabila dijadikan sumber informasi primer terutama bagi orang-orang awam.
“Bagi saya, ini adalah batasan terbesarnya. Saat ini ChatGPT sebaiknya digunakan untuk mencari ide, membantu proses pembuatan tulisan medis, dan membuat ringkasan data. Jika digunakan untuk mendapatkan informasi cepat, perlu diuji kembali kebenarannya,” kata Rajesh.(ntr/mpm)
