Andrej Karpathy, mantan petinggi riset OpenAI dan Tesla, merilis proyek open source bernama LLM Council di GitHub bulan lalu. Dalam beberapa minggu proyek itu sudah dibintangi lebih dari 24 ribu kali. Bukan aplikasi chat baru, tapi cara baru memakai chatbot yang sudah ada: bukan tanya satu AI, tapi tanya beberapa AI sekaligus, lalu suruh mereka saling menilai jawaban satu sama lain.
Ide ini menjawab masalah yang sudah lama diketahui pengguna chatbot: satu model bisa terdengar sangat yakin padahal jawabannya keliru. GPT bisa salah, Claude bisa salah, Gemini juga bisa salah, hanya saja titik lemah masing-masing beda. LLM Council mencoba menutup celah itu dengan membentuk semacam rapat dewan, di mana beberapa AI bekerja bersama sebelum satu jawaban akhir disodorkan ke penggunanya.
Apa Itu LLM Council
LLM Council adalah pola kerja multi-agen di mana beberapa model bahasa besar (LLM) menjawab pertanyaan yang sama secara terpisah, lalu saling menilai jawaban satu sama lain, dan terakhir satu model bertindak sebagai “ketua” yang menyusun jawaban final dari hasil diskusi itu.
Istilah “council” dipakai karena mekanismenya mirip rapat dewan pakar. Tiap anggota dewan (dalam hal ini model AI) membawa sudut pandang berbeda karena dilatih dengan data dan arsitektur berbeda. Mereka boleh saling koreksi, dan keputusan akhir diklaim lebih andal ketimbang mengandalkan satu opini saja.
Proyek open source Karpathy sendiri adalah aplikasi web sederhana yang mirip tampilan ChatGPT, tapi di baliknya memakai OpenRouter untuk mengirim satu pertanyaan ke banyak model sekaligus, seperti GPT, Gemini, Claude, dan Grok.
Cara Kerja LLM Council
Ada tiga tahap utama yang dijalankan setiap kali pengguna mengirim pertanyaan.
Tahap 1, Opini pertama. Pertanyaan yang sama dikirim ke semua model secara terpisah dan independen. Tiap model tidak tahu ada model lain yang sedang mengerjakan soal yang sama. Jawaban masing-masing ditampilkan dalam tab terpisah, jadi pengguna bisa membaca satu per satu kalau penasaran.
Tahap 2, Saling menilai. Jawaban dari tahap pertama dikumpulkan, lalu tiap model diminta membaca jawaban model lain dan memberi penilaian atas akurasi dan kedalaman analisisnya. Identitas model disamarkan di tahap ini, supaya tidak ada model yang “pilih kasih” pada jawaban miliknya sendiri atau pada model tertentu yang sering dianggap lebih pintar.
Tahap 3, Jawaban final. Satu model ditunjuk sebagai “ketua dewan” (chairman). Model ini membaca semua jawaban dan semua penilaian dari tahap sebelumnya, lalu menyusun satu jawaban gabungan yang jadi output akhir untuk pengguna.
Hasilnya, pengguna tetap bisa membuka jawaban asli tiap model, tapi jawaban ringkas yang siap pakai justru datang dari proses saling koreksi tadi.
Kenapa Satu Model Saja Sering Tidak Cukup
Model AI tunggal punya kelemahan yang konsisten: percaya diri walau salah. Tanya GPT tentang strategi hukum, risiko medis, atau proyeksi keuangan, jawabannya akan terdengar lancar dan tersusun rapi. Masalahnya, jawaban itu jarang disertai sinyal jujur soal bagian mana yang lemah, asumsi apa yang dipakai, atau kemungkinan model lain punya pandangan berbeda karena dilatih dengan data berbeda.
Dengan menjalankan beberapa model sekaligus dan membiarkan mereka saling menilai, celah kepercayaan diri palsu ini bisa ketahuan. Kalau dua dari tiga model sepakat soal satu poin sementara model ketiga menyimpang jauh, itu sinyal yang berguna, jauh lebih berguna dibanding jawaban tunggal yang terdengar meyakinkan tapi tidak diverifikasi siapa pun.
Variasi Pola Dewan AI
Konsep LLM Council bukan cuma satu bentuk baku. Beberapa variasi yang umum dipakai:
- Ensemble sederhana: tiap model menjawab sendiri-sendiri, lalu satu model meta atau aturan tertentu memilih jawaban terbaik tanpa proses saling kritik.
- Dewan berperingkat: model-model saling memberi skor atau ranking atas jawaban sebelum disintesis, seperti yang dipakai proyek Karpathy.
- Dewan adversarial: satu atau lebih model ditugaskan khusus mencari kelemahan jawaban model lain, mirip peran devil’s advocate.
- Dewan berbobot: model diberi bobot berbeda tergantung keahlian domain atau rekam jejak akurasinya di topik tertentu.
Pemilihan variasi tergantung kebutuhan. Untuk riset cepat, ensemble sederhana biasanya cukup. Untuk keputusan yang taruhannya tinggi, seperti analisis kebijakan atau audit teknis, dewan berperingkat atau adversarial lebih masuk akal karena memaksa munculnya perbedaan pendapat, bukan menyembunyikannya.
Pilihan Kalau Mau Coba LLM Council
Ada dua jalur utama buat yang penasaran mencoba konsep ini.
1. Self-host lewat proyek Karpathy (gratis, tapi teknis)
Proyek llm-council di GitHub bersifat open source dan bisa dijalankan sendiri di komputer. Kebutuhannya:
- Akun OpenRouter untuk akses ke berbagai model dari satu API key.
- Sedikit kemampuan menjalankan aplikasi Python (backend) dan frontend web sederhana.
- Biaya token dibayar langsung ke OpenRouter sesuai model yang dipanggil, bukan biaya berlangganan tetap.
Cocok untuk yang suka otak-atik, developer, atau tim teknis yang mau kontrol penuh atas model mana saja yang jadi anggota dewan.
2. Layanan siap pakai berlangganan
Selain proyek open source, ada juga layanan web yang sudah mengemas konsep serupa jadi produk siap pakai dengan skema berlangganan bertingkat, mulai dari paket murah untuk pemakaian ringan sampai paket “Fox” yang memakai kumpulan model kelas atas (frontier models) untuk riset dan keputusan yang lebih berat.
Bedanya dengan self-host: tidak perlu urus server atau API key sendiri, tinggal pakai lewat browser. Trade off-nya, model yang tersedia tergantung paket langganan yang dipilih.
Tabel Perbandingan Pola Dewan AI
| Aspek | Ensemble Sederhana | Dewan Berperingkat | Dewan Adversarial |
|---|---|---|---|
| Kompleksitas setup | Rendah | Sedang | Tinggi |
| Cocok untuk | Pertanyaan cepat, riset ringan | Keputusan penting, analisis mendalam | Audit, pengecekan klaim berisiko |
| Biaya token | Paling hemat | Sedang, karena ada tahap penilaian tambahan | Paling boros, tiap model dipakai berulang |
| Transparansi proses | Rendah | Tinggi, ada skor per jawaban | Tinggi, kelemahan tiap jawaban terlihat |
Kelebihan LLM Council
Pola ini punya beberapa keunggulan nyata dibanding chat dengan satu model saja. Pengguna bisa melihat titik temu dan titik beda antar model, bukan cuma menerima satu suara tunggal. Kesalahan spesifik satu model, misalnya halusinasi fakta atau bias tertentu, lebih mudah ketahuan karena model lain kemungkinan besar tidak membuat kesalahan yang sama. Untuk pertanyaan yang butuh berbagai sudut pandang, seperti evaluasi risiko atau perbandingan opsi, hasil sintesis dari beberapa model umumnya lebih seimbang.
Kekurangan yang Perlu Dipertimbangkan
Tidak semuanya soal kelebihan. Biaya token jelas lebih mahal karena satu pertanyaan dikirim ke banyak model, kadang sampai tiga kali proses (jawab, nilai, sintesis). Waktu respons juga lebih lambat dibanding tanya satu chatbot biasa, karena harus menunggu semua model selesai di tiap tahap. Untuk pertanyaan sederhana seperti mencari sinonim kata atau menerjemahkan satu kalimat, memakai dewan penuh jelas berlebihan, kompleksitasnya tidak sebanding dengan manfaatnya.
FAQ
Apakah LLM Council gratis? Proyek open source dari Karpathy gratis untuk dijalankan sendiri, tapi biaya token ke penyedia model seperti OpenRouter tetap berlaku sesuai pemakaian. Layanan siap pakai umumnya berbayar berlangganan bulanan.
Model apa saja yang bisa jadi anggota dewan? Tergantung akses API yang dipakai. Kombinasi umum meliputi GPT dari OpenAI, Claude dari Anthropic, Gemini dari Google, dan model open source seperti DeepSeek atau Grok dari xAI.
Apakah LLM Council menjamin jawaban selalu benar? Tidak. Pola ini mengurangi risiko kesalahan tunggal karena ada proses saling koreksi, tapi tidak menghilangkan kemungkinan semua model sepakat pada jawaban yang sama-sama keliru, terutama untuk topik yang datanya memang minim atau ambigu.
Apakah cocok dipakai sehari-hari untuk pertanyaan ringan? Kurang efisien. Dewan AI lebih pas dipakai untuk pertanyaan yang butuh analisis mendalam, riset, atau keputusan penting, bukan obrolan santai atau tugas sederhana yang bisa dijawab satu model saja dengan cepat.
Kalau kamu sedang membangun agen AI sendiri di VPS dan tertarik mengombinasikan beberapa model lewat satu endpoint, konsep router API seperti yang dibahas di panduan AI router lengkap bisa jadi langkah awal sebelum melangkah ke pola dewan yang lebih kompleks ini. Untuk kebutuhan menjalankan banyak agen AI sekaligus tanpa mengeringkan kuota, cek dulu pilihan VPS yang cocok untuk beban kerja AI.
Buat yang mau akses ke banyak model sekaligus tanpa pusing kelola API key satu per satu untuk eksperimen semacam dewan AI ini, ada opsi mencoba lewat halaman pendaftaran akses AI router kami, gratis kuota awal untuk mulai bereksperimen.