Dalam persiapan pasien kanker Tugas ahli onkologi adalah membuat keputusan sulit. Namun, mereka tidak selalu ingat untuk melakukan hal ini. Di Penn State Health System, para dokter diminta untuk berbicara tentang perawatan dan pengobatan pasien preferensi akhir kehidupan Melalui algoritma kecerdasan buatan yang memprediksi kemungkinan kematian.

Namun ini bukanlah alat yang bisa digunakan untuk semua orang. Pemeriksaan teknis rutin menunjukkan bahwa algoritme tersebut menurun selama pandemi Covid-19, dan kemampuannya dalam memprediksi kematian turun sebesar 7 poin persentase, menurut sebuah studi pada tahun 2022.

Mungkin ada implikasi dalam kehidupan nyata. Ravi Parikh, penulis utama penelitian dan ahli onkologi di Universitas Emory, mengatakan kepada KFF Health News bahwa alat tersebut gagal ratusan kali dalam mendorong dokter untuk melakukan diskusi penting dengan pasien yang membutuhkannya, yang mungkin akan mencegah kemoterapi yang tidak perlu.

Ia percaya bahwa beberapa algoritma yang dirancang untuk meningkatkan layanan kesehatan telah melemah selama epidemi. Pandemibukan hanya dari Penn Medicine. “Banyak organisasi tidak memantau secara rutin” kinerja produk mereka, kata Parikh.

Gangguan algoritmik merupakan salah satu aspek dilema yang telah lama diketahui oleh para ilmuwan komputer dan dokter, namun hal ini mulai membingungkan administrator dan peneliti rumah sakit: Sistem kecerdasan buatan memerlukan pemantauan terus-menerus dan penempatan staf agar tetap berfungsi dengan baik.

Intinya: Anda memerlukan manusia dan lebih banyak mesin untuk memastikan alat baru ini tidak mengacaukan segalanya.

“Semua orang mengira kecerdasan buatan akan membantu kita meningkatkan akses dan kemampuan serta meningkatkan layanan dan sebagainya,” kata Nigam Shah, kepala ilmuwan data di Stanford University Health Care sebesar 20%%, apakah ini mungkin?”

Pejabat pemerintah khawatir bahwa rumah sakit kekurangan sumber daya untuk menerapkan teknologi ini. “Saya telah melakukan penelitian ekstensif,” kata Komisaris FDA Robert Califf pada pertemuan panel badan baru-baru ini mengenai kecerdasan buatan. “Saya tidak yakin ada sistem layanan kesehatan di Amerika Serikat yang telah memvalidasi penggunaan AI dalam sistem perawatan klinis. algoritma kecerdasan buatan.”

Kecerdasan buatan telah banyak digunakan Dalam perawatan kesehatan. Algoritma digunakan untuk memprediksi risiko kematian atau kemunduran pasien, merekomendasikan diagnosis atau mengklasifikasikan pasien, dan mencatat serta merangkum kunjungan medis. Menyelamatkan pekerjaan dokter dan tiba Menyetujui klaim asuransi.

Jika para penginjil teknologi benar, teknologi ini akan ada di mana-mana dan menguntungkan. Perusahaan investasi Bessemer Venture Partners telah mengidentifikasi sekitar 20 startup AI yang berfokus pada kesehatan, masing-masing diharapkan menghasilkan pendapatan tahunan sebesar $10 juta. FDA telah menyetujui hampir seribu produk kecerdasan buatan.

Mengevaluasi apakah produk ini efektif dapat menjadi sebuah tantangan. Menilai apakah mereka terus bekerja – atau telah mengalami kerusakan ringan seperti gasket rusak atau kebocoran mesin – bahkan lebih rumit.

Ambil contoh, penelitian terbaru dari Yale School of Medicine yang mengevaluasi enam “sistem peringatan dini” yang dapat mengingatkan dokter ketika kondisi pasien cenderung memburuk dengan cepat. Sebuah superkomputer menjalankan data selama beberapa hari, kata Dana Edelson, seorang dokter Universitas Chicago dan salah satu pendiri perusahaan yang menyediakan algoritma untuk penelitian tersebut. Prosesnya membuahkan hasil, menunjukkan perbedaan besar dalam kinerja antara keenam produk tersebut.

Tidak mudah bagi rumah sakit dan penyedia layanan kesehatan untuk memilih algoritma yang paling sesuai dengan kebutuhan mereka. Rata-rata dokter tidak memiliki superkomputer atau Consumer Reports yang didukung AI.

“Kami tidak memiliki standar,” kata Jesse Ehrenfeld, mantan presiden American Medical Association. “Saya tidak dapat menunjukkan standar apa pun saat ini tentang cara mengevaluasi, memantau, dan melihat kinerja model algoritme, baik yang mendukung AI atau tidak, saat algoritme tersebut diterapkan.”

Mungkin produk AI yang paling umum di praktik dokter disebut Ambient Doc, asisten berteknologi tinggi yang mendengarkan dan merangkum kunjungan pasien. Sepanjang tahun ini, investor Rock Health telah melacak $353 juta yang mengalir ke perusahaan pengarsipan. Namun, Ehrenfeld berkata, “Saat ini tidak ada standar untuk membandingkan keluaran alat-alat ini.”

Begini masalahnya, bahkan kesalahan kecil pun bisa berakibat buruk. Sebuah tim di Universitas Stanford mencoba menggunakan model bahasa besar, teknologi yang mendasari alat AI populer seperti ChatGPT, untuk merangkum riwayat kesehatan pasien. Mereka membandingkan hasilnya dengan apa yang ditulis dokter.

“Bahkan dalam skenario terbaik, tingkat kesalahan model mencapai 35 persen,” kata Shah dari Stanford. Dalam kedokteran, “Ketika Anda menulis abstrak dan Anda lupa sebuah kata, seperti 'demam' – maksud saya, itu masalah, bukan?”

Terkadang alasan mengapa algoritma gagal cukup logis. Misalnya, perubahan pada data dasar dapat mengurangi validitasnya, misalnya ketika rumah sakit mengganti penyedia laboratorium.

Namun terkadang jebakan muncul tanpa alasan yang jelas.

Sandy Aronson, direktur teknis Program Pengobatan Personal di Rumah Sakit Umum Massachusetts di Boston, mengatakan bahwa ketika timnya menguji aplikasi yang dirancang untuk membantu konselor genetik menemukan literatur yang relevan tentang varian DNA, Produk tersebut mengalami “ketidakpastian”—yaitu, ketika ditanya pertanyaan yang sama, produk tersebut mengalami “ketidakpastian”.

Aronson sangat antusias dengan potensi model bahasa besar untuk merangkum pengetahuan bagi konselor genetika yang terbebani secara berlebihan, namun “teknologinya perlu ditingkatkan.”

Apa yang harus dilakukan suatu institusi jika ukuran dan standarnya sedikit, dan bisa saja salah karena alasan yang aneh? Investasikan banyak sumber daya. Di Stanford, dibutuhkan waktu delapan hingga 10 bulan dan 115 jam kerja hanya untuk meninjau keadilan dan keandalan kedua model tersebut, kata Shah.

Para ahli yang diwawancarai oleh KFF Health News melontarkan gagasan pemantauan AI dengan beberapa pakar data (manusia) yang memantau keduanya. Semua pihak mengakui bahwa hal ini akan mengharuskan organisasi untuk mengeluarkan lebih banyak uang – sebuah tantangan yang sulit mengingat realita anggaran rumah sakit dan terbatasnya pasokan ahli teknologi AI.

“Sangat menyenangkan memiliki visi bahwa kita akan mencairkan gunung es sehingga kita memiliki model untuk memantau model mereka,” kata Shah. “Tetapi apakah itu benar-benar yang saya inginkan? Berapa banyak lagi orang yang kita butuhkan?”

Berita Kesehatan KFF adalah ruang redaksi nasional yang menghasilkan jurnalisme mendalam mengenai isu-isu kesehatan sebagai salah satu program operasi inti lembaga tersebut Gua —Sumber penelitian, jajak pendapat, dan berita kebijakan kesehatan yang independen.