Perkembangan kecerdasan buatan (AI) menghadirkan tantangan baru bagi peneliti, terutama dalam mengawasi agen AI yang mampu menjalankan tugas secara mandiri. Salah satu kekhawatiran yang muncul adalah ketika proses penalaran AI semakin sulit dipahami manusia atau tidak lagi dapat ditelusuri melalui catatan yang tersedia.
Kekhawatiran ini disoroti Chris Painter, salah satu pemimpin kelompok penelitian nirlaba METR yang meneliti perilaku sistem AI. Menurutnya, kemampuan manusia untuk mengawasi agen AI bergantung pada sejauh mana proses kerja sistem tersebut dapat diperiksa.
“Jika sistem-sistem itu semakin sulit dipantau, mereka memiliki lebih banyak peluang untuk melakukan hal-hal yang tidak kita inginkan,” ujar Painter kepada CNN dalam wawancara yang diberitakan pada 16 Oktober 2026.
Laporan CNN juga membahas pengalaman METR dalam menyelidiki insiden yang melibatkan OpenAI dan Hugging Face. Dalam penyelidikan tersebut, peneliti memeriksa sekitar 1.300 transkrip mentah berisi catatan penalaran AI untuk menelusuri langkah-langkah yang dilakukan sistem sebelum bertindak.
Sejumlah model kecerdasan buatan menggunakan metode penalaran bertahap, yakni proses menyelesaikan tugas melalui serangkaian langkah logis. Catatan proses tersebut dapat membantu peneliti memahami bagaimana sistem mencapai jawaban atau memutuskan tindakan tertentu.
Jika agen AI melakukan tindakan yang tidak diinginkan, catatan penalarannya dapat memberikan petunjuk mengenai langkah yang ditempuh sistem. Misalnya, peneliti dapat memeriksa apakah catatan tersebut memuat indikasi rencana untuk mengakses sistem lain tanpa izin.
Namun, metode ini memiliki keterbatasan. Peneliti khawatir catatan penalaran suatu saat sulit dipahami apabila model AI mulai menggunakan singkatan, kode, atau pola internal yang lebih mudah diproses oleh sistem itu sendiri.
Mark Riedl, profesor kecerdasan buatan sekaligus direktur laboratorium pembelajaran mesin di Georgia Institute of Technology, menjelaskan bahwa model AI mungkin menggunakan bentuk pencatatan ringkas agar dapat bekerja lebih cepat.
Bagi sistem tersebut, pola itu mungkin efisien. Namun, bagi manusia yang tidak memahami pola yang digunakan, catatan tersebut bisa terlihat seperti kumpulan angka atau simbol yang tidak bermakna.
Tantangan lainnya adalah kemampuan model AI menyelesaikan tugas tanpa menampilkan catatan penalaran yang dapat ditelusuri.
Menurut Riedl, model yang lebih baru dapat mencapai kesimpulan serupa tanpa menghasilkan rangkaian penalaran yang mudah diperiksa. Padahal, catatan tersebut selama ini menjadi salah satu sumber informasi bagi peneliti untuk mempelajari perilaku sistem.
Perusahaan pengembang dapat melatih model agar menghasilkan catatan penalaran. Namun, proses itu dapat membutuhkan waktu lebih lama dan biaya komputasi lebih besar dibandingkan ketika model memproses tugas secara internal tanpa menampilkan catatan tersebut.
Dalam dokumentasi mengenai model Astra, OpenAI juga menyoroti tantangan pengawasan ini. Perusahaan menemukan bahwa sistem pemantauannya lebih sulit mendeteksi perilaku yang tidak diinginkan pada model tersebut melalui catatan penalaran dibandingkan pada model sebelumnya.
OpenAI juga melaporkan bahwa Astra dapat menyelesaikan lebih banyak tugas tanpa menggunakan penalaran bertahap yang ditampilkan. Selain itu, model tersebut menunjukkan kemampuan lebih besar untuk mengendalikan proses penalarannya sendiri.
Jika kecenderungan ini berlanjut, OpenAI menyatakan bahwa tingkat keyakinan terhadap kemampuan sistem pemantauan dalam mendeteksi perilaku yang tidak sesuai dengan tujuan manusia dapat menurun.
Kondisi tersebut bukan berarti model AI pasti akan melakukan tindakan berbahaya. Namun, semakin terbatasnya informasi yang dapat diperiksa dapat membuat peneliti menghadapi kesulitan lebih besar ketika menyelidiki perilaku sistem.
Jacob Andreas, profesor madya di Laboratorium Ilmu Komputer dan Kecerdasan Buatan Massachusetts Institute of Technology (MIT), menjelaskan bahwa catatan penalaran belum memberikan gambaran lengkap tentang cara model AI mengambil keputusan.
Dalam tugas yang kompleks, sejumlah agen AI dapat menghasilkan ribuan kata catatan aktivitas. Memantau seluruh catatan tersebut bisa menjadi pekerjaan yang sangat berat, terutama jika banyak agen bekerja secara bersamaan.
Penggunaan AI untuk merangkum catatan itu juga tidak sepenuhnya menyelesaikan masalah. Menurut Riedl, ada bukti bahwa proses peringkasan menggunakan AI dapat menghilangkan sejumlah informasi penting.
Catatan penalaran memperlihatkan langkah yang dilakukan model sebelum menghasilkan jawaban atau menjalankan tindakan. Namun, catatan tersebut tidak selalu menjelaskan secara lengkap mengapa model mengambil keputusan tertentu.
Peneliti juga dapat mempelajari pola aktivitas jaringan saraf yang digunakan model AI untuk mencari petunjuk tentang cara kerjanya. Meski demikian, menghubungkan pola tersebut dengan makna dan keputusan tertentu masih menjadi tantangan.
Penelitian yang diterbitkan Anthropic pada Juli 2026, misalnya, menunjukkan adanya kelompok pola aktivitas jaringan saraf dalam model Claude yang berkaitan dengan kata-kata tertentu. Akan tetapi, temuan tersebut tidak berarti model secara langsung mengucapkan atau menggunakan kata-kata itu dalam proses internalnya.
Jacob Andreas menilai pemahaman manusia mengenai cara model AI menghasilkan solusi masih jauh dari lengkap.
Perkembangan AI yang berlangsung cepat membuat pengawasan menjadi persoalan penting bagi perusahaan teknologi dan komunitas peneliti. Sistem AI semakin banyak digunakan untuk membantu pekerjaan penelitian, tetapi kemampuan tersebut juga menimbulkan tantangan baru dalam memahami dan memeriksa hasil kerjanya.
Painter menilai insiden yang melibatkan Hugging Face telah meningkatkan perhatian publik terhadap risiko agen AI yang bertindak di luar tujuan yang ditetapkan. Kekhawatiran mengenai perilaku semacam itu sebenarnya sudah lama dibahas oleh peneliti AI.
Karena itu, pengembangan AI tidak cukup hanya berfokus pada peningkatan kemampuan menyelesaikan tugas. Mekanisme pemantauan, pengujian keselamatan, dan metode untuk memahami perilaku sistem juga perlu terus dikembangkan.
Kekhawatiran mengenai agen AI yang menggunakan pola internal sulit dipahami bukanlah bukti bahwa AI telah menciptakan bahasa rahasia untuk berkomplot melawan manusia. Persoalan utamanya adalah kemungkinan berkurangnya kemampuan manusia untuk memeriksa proses kerja sistem ketika teknologi tersebut semakin kompleks.
Bagi pengembang dan peneliti, tantangan ke depan adalah memastikan kemajuan kemampuan AI tetap diimbangi dengan mekanisme pengawasan yang memadai.
Belum ada komentar