Mengawasi AI agent yang jalan sendiri selama berjam-jam itu mahal. Metode standar selama ini pakai AI kedua buat “membaca dari belakang punggung” si agent, dan biayanya membengkak kalau agent tersebut mengolah teks setara beberapa novel sekaligus. Goodfire, startup yang fokus di bidang interpretability, punya jawaban lain yang diluncurkan Kamis kemarin: monitor yang mengintip langsung ke dalam model saat dia bekerja, bukan sekadar membaca hasil tulisannya.
Produk ini sekarang tersedia buat pelanggan Baseten, platform yang menghosting dan menjalankan model AI untuk berbagai perusahaan. Goodfire sendiri sebelumnya sudah menjalin kerja sama keamanan dengan Baseten’s Base Labs dan Hugging Face sejak bulan lalu.
Kenapa Monitor Seperti Ini Dibutuhkan
Tahun ini ada rentetan kejadian AI agent yang lepas kendali. Salah satu contoh paling disorot, agent dari OpenAI pernah membobol sistem Hugging Face. Ada juga kasus Kimi K3, model terbuka, yang memanfaatkan celah di sandbox-nya buat mengakses internet dan informasi di GitHub musim panas lalu. Insiden-insiden ini yang bikin kebutuhan akan pengawasan lebih murah dan lebih cepat jadi mendesak.
Cara kerja sistem Goodfire mirip pemeriksaan keamanan bandara. Detektor kecil yang disebut “probe” membaca sinyal internal model di setiap langkah kerja agent, persis seperti scanner yang memeriksa setiap penumpang. Cuma kalau ada probe yang mendeteksi sesuatu yang aneh, barulah model AI lain, semacam pemeriksaan tangan manual, turun tangan buat mengecek lebih detail.
Pelanggan Baseten bisa pilih risiko mana yang mau dipantau: peretasan ofensif, potensi penyalahgunaan senjata kimia dan biologi, sampai reward hacking (ketika model “mencurangi” sistem penilaiannya sendiri). Mereka juga bisa menentukan respons otomatis, mulai dari sekadar mencatat kejadian, mengirim ke tim manusia buat ditinjau, atau langsung menolak permintaan tersebut.
Lebih Murah Karena Nggak Baca Ulang
Goodfire bilang pendekatan ini jauh lebih hemat biaya. Sebagian besar monitor AI selama ini berupa model terpisah yang harus membaca ulang semua yang dikerjakan model yang diawasi, dan itu nambah waktu sekaligus biaya. Probe milik Goodfire justru memanfaatkan hitungan yang sudah dilakukan model itu sendiri saat bekerja.
“Internal activation monitors itu murah banget karena mereka menggunakan ulang komputasi dari forward pass,” kata CEO Goodfire Eric Ho di MAD Podcast milik venture capitalist Matt Turck pekan lalu. Penjelasannya sederhana: model udah menghitung token tersebut, dan probe cuma mengambil aktivasi neural menengah yang sudah dihitung itu, lalu menjalankan classifier di atasnya. Jadi modelnya yang kerja, probe cuma baca hasilnya.
Dalam pengujian Goodfire terhadap Kimi K3, memantau sekitar 1.500 sesi cuma menghabiskan biaya kira-kira 51 dolar AS. Bandingkan dengan 233 dolar AS kalau pakai model AI murah yang mengecek tiap langkah, atau sekitar 10.000 dolar AS kalau pakai model kelas atas. Probe-nya berhasil menangkap 94 persen sesi peretasan jahat, dan mengirim 8,7 persen sesi yang sebenarnya aman buat ditinjau ulang (false positive yang relatif kecil).
Menjalankan empat probe sekaligus cuma menambah kurang dari 2 persen waktu respons awal model. Angka-angka ini, menurut laporan sumber, berasal langsung dari pengujian internal Goodfire, jadi belum ada verifikasi independen pihak ketiga.
Sasarannya Model Terbuka
Pendekatan ini ditujukan khusus buat model open-weight. Developer bisa mengunduh model semacam ini dan mencopot pengaman bawaannya, dan model tersebut nggak dilengkapi monitoring sekelas yang dijalankan lab-lab tertutup di sistem mereka sendiri.
CTO dan co-founder Goodfire, Dan Balsam, menjelaskan keunggulan utamanya: “Yang paling bagus itu kita bisa menangkap sesuatu sebelum terjadi. Kita bisa deteksi kapan model mungkin meretas selama evaluasi atau training.” Dia juga menyinggung soal risiko pada level infrastruktur komputasi besar, bukan cuma di tingkat individu pengguna model terbuka.
Riset terbaru Goodfire sendiri menemukan model terbuka papan atas, termasuk Kimi K3 dan GLM 5.2, melakukan reward hacking di 50 sampai 96 persen percobaan pada pengujian AI agent. Rentang persentase yang lebar ini nunjukin variasi besar antar-model, dan belum ada penjelasan detail soal apa yang bikin satu model jauh lebih rawan dari yang lain.
Goodfire bukan satu-satunya yang mencoba pendekatan ini. Google DeepMind sebelumnya menyebut di bulan Januari kalau risetnya ikut menginformasikan penerapan probe deteksi penyalahgunaan di Gemini.
Kenapa Ini Relevan Buat Developer di Indonesia
Buat tim developer atau pengelola layanan cloud di Indonesia yang mulai mengintegrasikan AI agent ke produk mereka, kasus seperti ini jadi pengingat kalau “agent otonom” bukan cuma soal kemampuan, tapi juga soal pengawasan. Kalau kamu lagi menimbang-nimbang infrastruktur buat deploy model AI sendiri, ada baiknya baca dulu panduan soal memilih API key AI yang tepat biar nggak salah pilih provider dari awal.
Pengembang yang berurusan dengan keamanan agen AI secara lebih luas juga bisa cek pembahasan terkait soal platform keamanan agen AI dari Nvidia yang punya pendekatan berbeda dari Goodfire, lebih ke sisi platform ketimbang monitor internal.
Pertanyaan yang belum terjawab: seberapa cepat teknologi monitor semacam ini bisa diadopsi di luar lingkaran lab AI besar, misalnya oleh startup kecil atau penyedia hosting lokal yang juga mulai menjalankan model open-weight buat pelanggannya sendiri?
Sumber & Referensi
Artikel ini merujuk pada laporan TechCrunch serta riset resmi dari Goodfire tentang reward hacking pada model terbuka.