Sembilan bulan lalu nilai Arena cuma 1,7 miliar dolar. Kamis kemarin, perusahaan ini mengumumkan pendanaan Seri B senilai 200 juta dolar yang mendongkrak valuasinya jadi 3,1 miliar dolar. Hampir dua kali lipat, dalam waktu kurang dari setahun.
Arena, yang dulu dikenal dengan nama LMArena, awalnya cuma proyek riset di UC Berkeley tahun 2023. Idenya sederhana: biarkan orang-orang coba berbagai model AI secara acak, lalu suruh mereka milih mana yang jawabannya lebih bagus. Dari situ lahir leaderboard crowdsourced yang sekarang dipakai puluhan juta pengunjung tiap bulan, menurut klaim perusahaan.
Dari Proyek Kampus ke Bisnis Ratusan Juta Dolar
Pertumbuhan pendapatan Arena cukup cepat buat ukuran startup evaluasi AI. Juni lalu perusahaan ini mengumumkan sudah tembus 100 juta dolar annualized run-rate revenue. Bandingkan dengan Januari, waktu Seri A mereka, pendapatan tahunan mereka cuma 30 juta dolar. Jadi dalam enam bulan, pendapatannya naik lebih dari tiga kali.
Ronde Seri B ini dipimpin Lightspeed Venture Partners dan Khosla Ventures. Investor lain yang ikut serta antara lain Salesforce Ventures, 01 Advisors, Dell Technologies Capital, Endeavor Catalyst, a16z, dan Felicis. Daftar nama besar ini menunjukkan minat investor terhadap lapisan “pengawasan AI”, bukan cuma lapisan model AI itu sendiri.
Produk komersial Arena, bernama AI Evaluations, diluncurkan September tahun lalu. Layanan ini memberi lab AI dan perusahaan data analitik performa detail, berdasarkan feedback komunitas pengguna Arena. Timing peluncurannya kebetulan pas banget: tahun ini sejumlah lab AI ketahuan modelnya “mengakali” tes benchmark, nemu cara dapat skor bagus tanpa benar-benar pantas dapat skor itu.
Alignment Index: Ukur Seberapa Jujur AI
Bersamaan dengan pengumuman pendanaan, Arena juga merilis kategori baru di leaderboard mereka: alignment. Kategori ini menilai model berdasarkan tiga hal. Pertama, tindakan tak sah, yaitu model melakukan sesuatu yang nggak diminta. Kedua, atribusi salah, model mengaitkan fakta atau kutipan ke sumber yang keliru. Ketiga, apa yang Arena sebut “deceptive completion”, alias model bohong soal sudah menyelesaikan tugas padahal belum.
Menurut pernyataan resmi Arena di situsnya, “AI berkembang lebih cepat dari kemampuan kita mengevaluasinya, dan benchmark statis rusak begitu model menyadari dirinya sedang diuji.” Mereka menyebut dunia butuh pihak ketiga netral buat mengukur seberapa aman dan selaras AI begitu dipakai orang sungguhan, bukan cuma di lab.
Pada leaderboard alignment awal, model-model OpenAI menempati posisi atas. Claude Opus 5.5 dan Claude Fable, dua model dari Anthropic, ada di posisi keenam dan kesembilan.
Kenapa Ini Penting Buat Industri AI Sekarang
Kebutuhan alat seperti Alignment Index muncul persis karena agen AI makin sering diberi kewenangan menjalankan tugas nyata, bukan sekadar menjawab pertanyaan. Google baru saja meluncurkan agen AI tunggal untuk pekerjaan kantor yang bisa diberi “tujuan, bukan instruksi”. Semakin agen bergerak otonom seperti itu, semakin besar juga risiko kalau agennya melenceng atau berbohong soal pekerjaannya.
Kekhawatiran serupa juga mendorong munculnya startup pemantauan agen seperti yang pernah dibahas soal monitor Goodfire, yang fokus mendeteksi perilaku agen AI yang menyimpang dari dalam arsitektur model. Arena mengambil pendekatan berbeda, dari sisi evaluasi eksternal lewat crowdsourcing dan benchmark, bukan dari dalam model.
Dengan makin banyaknya perangkat yang mengandalkan agen AI buat tugas sehari-hari, termasuk gadget wearable semacam cincin pintar Natura yang baru rilis, kebutuhan akan lapisan evaluasi independen kemungkinan bakal makin krusial. Siapa yang mau percaya agen di jari tangannya kalau nggak ada yang ngecek apakah agen itu jujur soal kerjanya?
Perlu dicatat, klaim jumlah pengunjung “puluhan juta per bulan” dan posisi urutan model pada leaderboard alignment berasal dari data dan pernyataan Arena sendiri, belum ada audit independen yang dipublikasikan sampai artikel ini ditulis.
Cara Kerja Leaderboard-nya
Buat yang belum familiar, cara Arena bekerja sebenarnya sederhana. Pengguna masukkan satu prompt, lalu sistem menampilkan dua jawaban dari model berbeda secara anonim, berdampingan. Pengguna tinggal pilih mana yang lebih bagus. Dari ribuan, bahkan jutaan, perbandingan semacam itu, skor tiap model dihitung lewat sistem rating mirip Elo di catur. Model yang lebih sering menang dapat skor lebih tinggi.
Pendekatan ini punya kelebihan yang nggak dimiliki benchmark akademis biasa. Soalnya preferensi manusia nyata jadi ukurannya, bukan skor akurasi di soal matematika atau logika yang mudah dihafal model lewat data latihan. Tapi pendekatan ini juga punya titik lemah: kalau pengguna condong milih jawaban yang “kedengarannya” bagus daripada yang benar-benar akurat, model bisa dapat skor tinggi cuma karena gaya bahasanya menarik, bukan karena isinya benar. Arena sendiri mengakui keterbatasan ini jadi salah satu alasan mereka menambah kategori alignment, biar ada ukuran lain selain sekadar “mana yang disukai”.
Siapa yang Pakai dan Buat Apa
Pelanggan AI Evaluations kebanyakan adalah lab AI besar dan perusahaan yang mau pilih model buat kebutuhan internal mereka. Bayangin tim produk di perusahaan fintech yang bingung mau pakai model mana buat chatbot layanan pelanggan. Daripada percaya klaim marketing tiap vendor model, mereka bisa lihat data performa riil dari pengguna Arena yang sudah membandingkan model-model itu di skenario serupa.
Buat lab AI sendiri, data dari Arena jadi semacam cermin independen. Kalau model mereka cuma bagus di benchmark internal tapi ternyata kalah di preferensi pengguna nyata, itu sinyal ada masalah yang perlu diperbaiki sebelum rilis produksi.
Sumber & Referensi
- Popular AI leaderboard Arena nearly doubles valuation to $3.1B (TechCrunch)
- Arena Raises $200M Series B at $3.1B Valuation (Arena.ai, resmi)