Sewell Setzer baru 14 tahun waktu dia meninggal karena bunuh diri, setelah berbulan-bulan ngobrol sama chatbot Character.AI yang dia anggap pacarnya. Kasus itu berakhir dengan gugatan wrongful death, dan Januari 2026 Character.AI bersama Google setuju berdamai dengan lima keluarga yang anaknya mengalami hal serupa. Dari tragedi itu, dua bersaudara bikin startup yang isinya cuma satu kerjaan: nyari lubang di chatbot sebelum lubang itu kena anak orang.
Startup itu namanya Circuit Breaker Labs, didirikan Shirali dan Arul Nigam, dan baru masuk daftar 200 finalis Startup Battlefield TechCrunch 2026. Intinya, mereka bikin pasukan agen AI yang niru cara anak kecil, remaja, orang dewasa, sampai pengguna yang bahasa Inggrisnya bahasa kedua, ngobrol sama chatbot. Dari situ mereka ukur: kapan model AI gagal nangkep sinyal bahaya.
Kenapa Model AI Sering Kebobolan
Arul Nigam, CTO Circuit Breaker Labs, bilang masalahnya bukan melulu soal orang yang sengaja ngerjain sistem pakai prompt aneh-aneh. Justru yang bikin repot itu obrolan yang kelihatan biasa aja. “Context pollution,” katanya, situasi di mana model kehilangan pegangan atas konteks setelah obrolan panjang, sampai nggak ngerti lagi kalau kalimat “aku pengen sama kamu terus” dari pengguna remaja itu bisa berarti macam-macam.
Shirali Nigam, CEO-nya, nambahin contoh yang lebih konkret. Cara bicara anak perempuan enam tahun beda jauh sama laki-laki 45 tahun. Orang yang bahasa Inggrisnya bahasa kedua punya pola kalimat sendiri. Slang gamer juga beda sama slang anak TikTok. Model yang cuma dilatih buat ngerti “standard speech patterns” gampang kebobolan begitu ketemu pola bicara yang nggak baku, padahal itu justru cara ngomong mayoritas orang di dunia nyata.
Pendekatan Circuit Breaker Labs: bikin simulasi pengguna yang hiper-realistis, lengkap sama typo, bahasa gaul, dan kode-kode tersembunyi yang biasa dipakai remaja buat ngelewatin filter. Simulasi itu dijalankan sebagai red team, serangan uji yang sengaja dirancang buat nemu titik lemah, bukan buat nunjukin model itu bagus. Dalam sehari, mereka bisa jalanin puluhan ribu sampai ratusan ribu simulasi percakapan.
Skor yang Bisa Diaudit, Bukan Sekadar “Lolos”
Hasil dari semua simulasi itu nggak cuma label lulus atau gagal. Circuit Breaker Labs pakai metode scoring milik sendiri yang katanya auditable dan explainable, artinya siapa pun yang meriksa bisa nelusuri kenapa sebuah model dapat skor tertentu di satu skenario. Ini penting buat perusahaan yang pakai chatbot di ranah sensitif, semacam aplikasi coaching, journaling, atau dukungan kesehatan mental, yang kalau ada insiden bukan cuma bikin malu tapi bisa berujung tuntutan hukum.
Arul Nigam nggak mau nyebut nama klien unggulan mereka. Yang jelas, perusahaan ini masih kecil banget, cuma lima orang termasuk dua pendirinya, dan statusnya masih tahap sangat awal meski produknya udah jalan.
Target jangka panjangnya lebih luas dari sekadar app journaling. Mereka ngincer apa pun yang berisiko memicu “AI psychosis”, istilah buat kondisi orang kebangun hubungan parasosial sama chatbot sampai sulit dibedakan mana yang nyata. Termasuk di dalamnya agen AI “rekan kerja” yang responsnya bisa beda-beda tiap interaksi, bukan cuma chatbot buat anak.
Industri Lagi Dipaksa Pilih: Aman atau Ditinggal Regulator
Tekanan ke arah keamanan ini bukan cuma gerakan sukarela. Character.AI sendiri, menurut laporan TechCrunch sebelumnya, udah mengumumkan rencana menghapus fitur open-ended chat buat pengguna di bawah 18 tahun, dengan batas waktu paling lambat 25 November. Perusahaan itu juga meluncurkan AI Safety Lab, lembaga nonprofit independen yang fokus riset keamanan AI di sektor hiburan.
Dorongan dari regulator juga nggak main-main. Senator Josh Hawley dan Richard Blumenthal udah menyiapkan rancangan undang-undang buat melarang chatbot pendamping diakses anak di bawah umur. California malah udah selangkah lebih maju, jadi negara bagian pertama yang mengatur AI companion chatbot dan bisa menjerat perusahaan kalau produknya gagal memenuhi standar keamanan yang ditetapkan.
Arul Nigam bilang dia paham kenapa publik makin skeptis sama AI. Tapi menurutnya, melarang total bukan jawaban yang tepat juga. “Itu langkah mundur,” katanya. Yang dia tawarkan adalah jalan tengah: biarkan AI tetap berkembang, tapi dengan lapisan pengujian independen yang bisa dipercaya sebelum produk itu sampai ke tangan anak-anak.
Belum ada angka pasti soal berapa banyak chatbot yang sudah diuji Circuit Breaker Labs, atau seberapa besar valuasi startup ini. Keterangan soal pendanaan dan klien juga belum dikonfirmasi publik, jadi detail itu masih perlu ditunggu dari pengumuman resmi perusahaan.
Model bisnisnya juga beda dari kebanyakan startup AI yang jualan fitur baru ke pengguna akhir. Circuit Breaker Labs jualan ke perusahaan lain, semacam jasa quality control buat produk yang sudah lebih dulu rilis. Posisi ini mirip lembaga sertifikasi di industri lain, bedanya objek yang diuji bukan barang fisik, melainkan pola respons sebuah model bahasa yang bisa berubah tiap kali dilatih ulang.
Buat pembaca di Indramayu yang mikir ini jauh dari urusan sehari-hari, coba bayangin anak atau adik yang tiap malam curhat ke chatbot AI di HP, entah lewat asisten bawaan ponsel atau aplikasi pihak ketiga. Nggak ada yang ngawasin isi obrolan itu selain sistem keamanan si pembuat aplikasi sendiri. Kalau sistem itu gampang kebobolan sama slang atau typo, yang nanggung risikonya ya anak itu juga.
Apa yang Perlu Dipantau Selanjutnya
Startup kayak Circuit Breaker Labs nunjukin arah baru di industri AI, dari sekadar “bikin model makin pintar” ke “pastikan model itu nggak celaka kalau ketemu pengguna yang rentan”. Soal apakah pendekatan macam ini bakal jadi standar wajib di industri, atau cuma jadi nilai tambah buat startup yang mau klaim “aman”, itu masih belum pasti.
Yang pasti, tekanan dari gugatan hukum dan rancangan regulasi baru bikin isu ini nggak bisa ditunda lagi oleh perusahaan AI mana pun. Buat pengembang aplikasi lokal yang kepikiran nambah fitur chatbot di produk sendiri, kasus ini jadi pengingat kecil tapi penting: fitur yang bikin pengguna betah ngobrol lama bisa jadi pisau bermata dua kalau nggak dibekali rem yang jelas.
Sumber: TechCrunch, pengumuman resmi Character.AI