Apa itu SIMA dari Google DeepMind?

Google SIMA (Scalable Instructable Multiworld Agent) merupakan agen AI generatif yang dikembangkan oleh Google DeepMind. Agen ini dilatih di lingkungan 3D virtual untuk menyelesaikan tugas-tugas dasar permainan dengan mengikuti instruksi bahasa alami dari pengguna.

Menurut Google, tujuan akhirnya adalah meningkatkan kecanggihan agen SIMA agar dapat menyelesaikan tugas-tugas rumit secara aman di dalam permainan video, dan mungkin, di dunia nyata.

Berikut ini akan dijelaskan bagaimana SIMA bekerja dan beberapa contoh penggunaannya.

Cara Kerja SIMA

SIMA AI beroperasi dengan menggabungkan dua input sederhana: pemrosesan gambar dari permainan dan perintah bahasa real-time yang diberikan oleh pemain. Google AI ini tidak memerlukan izin khusus, seperti mengubah kode sumber permainan, menggunakan API, atau hak akses khusus, untuk menjalankan berbagai tugas sebagai asisten dalam permainan.

Versi terbaru SIMA saat ini dinilai berdasarkan 600 keterampilan dasar, termasuk navigasi (contohnya “belok kiri”), interaksi dengan objek (seperti “naik tangga”), dan penggunaan menu (sebagai contoh “buka peta”). Kami telah melatih SIMA untuk menyelesaikan tugas-tugas sederhana yang dapat diselesaikan dalam waktu sekitar 10 detik.

Tim dari Google DeepMind

Pada dasarnya, SIMA memiliki dua model utama: satu untuk pemetaan bahasa gambar dan yang lainnya untuk prediksi video. Model AI pertama membantu SIMA memahami perintah dalam bahasa alami dan kaitannya dengan konten visual di layar. Sementara model video membantu SIMA memprediksi kejadian di masa depan untuk merencanakan langkah-langkah permainannya.

Dengan kedua model AI ini, SIMA menggabungkan informasi visual dan instruksi bahasa untuk mengeksekusi tugas permainan singkat (<10 detik) melalui tindakan menggunakan keyboard dan mouse.

Mempunyai SIMA di sisi Anda hampir seperti memiliki pemain manusia yang bermain atas nama Anda. Namun, alat permainan AI ini tidak semata-mata tentang mencapai skor tinggi seperti yang umumnya dilakukan saat ini. Tujuannya adalah secara perlahan memperkenalkan kecerdasan buatan ke dalam permainan dan menghadapi kompleksitas lingkungan virtual pada tahap selanjutnya.

Proses Pelatihan SIMA

SIMA dilatih dalam sembilan permainan video komersial yang berbeda, seperti No Man’s Sky oleh Hello Games, Teardown oleh Tuxedo Labs, dan Valheim oleh Iron Gate. Pengembang memilih untuk melatih SIMA pada permainan dengan dunia terbuka dan permainan yang menawarkan kebebasan eksplorasi untuk membantu AI mempelajari berbagai keterampilan dasar permainan, seperti navigasi, menembak, menggali, mengemudi, membuat kerajinan, dan sebagainya.

Google DeepMind

Pelatihan SIMA difokuskan pada permainan dengan perspektif orang pertama atau ketiga, dengan menghindari game yang mengandung kekerasan ekstrem. Permainan komersial yang dipilih untuk pelatihan menawarkan beragam lingkungan dan mekanisme permainan yang mendalam.

Selain menggunakan permainan komersial, Google juga menggunakan empat lingkungan permainan AI dengan tantangan yang dihasilkan secara procedural untuk menguji kemampuan SIMA dalam menangani objek dan memahami dunia fisik dalam lingkungan yang dikontrol.

Bagian kunci dari pelatihan SIMA adalah kloning perilaku, di mana agen AI belajar dari data yang dihasilkan oleh pemain berpengalaman. Data tersebut meliputi rekaman video permainan, instruksi, anotasi, dan lainnya.

Menggunakan SIMA sebagai Agen AI dalam Permainan

Saat ini, SIMA sedang dalam tahap penelitian, dan penggunaannya sebagai agen AI tidak bertujuan untuk meraih prestasi tertinggi dalam peringkat permainan, karena masih dalam tahap awal yang fokus pada tugas-tugas dasar seperti perpindahan, pengambilan alat, atau naik kendaraan. SIMA belum tersedia untuk pengujian beta publik, dan belum ada opsi untuk menerapkan Google SIMA pada level permainan individu atau komersial.

Meski begitu, integrasi SIMA hanya memerlukan sedikit keterampilan teknis saat diluncurkan. AI permainan ini hanya membutuhkan dua input: visual dari permainan dan instruksi bahasa, tanpa memerlukan akses tingkat root. Hal ini hampir mirip dengan cara manusia berinteraksi dengan permainan, sehingga menunjukkan potensi besar SIMA di kalangan para pemain.

Apakah SIMA Dapat Bermain Bersama Anda dalam Permainan?

Ya, secara teori, SIMA seharusnya dapat bermain bersama Anda ketika tersedia secara komersial.

Meskipun kemampuannya mungkin tidak sebanding dengan pemain manusia yang sangat terampil, para gamer dapat memanfaatkan kecakapan SIMA dalam menyelesaikan tugas-tugas dasar permainan atau mengambil alih peran jika diperlukan.

Prospek SIMA ke Depan

Pengembang sedang mengevaluasi SIMA untuk 1.485 tugas permainan yang beragam, yang terbagi dalam sembilan kategori keterampilan, seperti gerakan, navigasi sederhana, pengumpulan sumber daya, manipulasi objek, dan lainnya.

Sumber: Laporan Teknis Google tentang SIMA

Hasil studi penelitian tahap awal ini menunjukkan tingkat keberhasilan yang mengesankan bagi agen multi-dunia yang dapat diinstruksikan untuk melakukan tugas-tugas sederhana di dalam dunia virtual ini. Sebagai contoh, SIMA telah menunjukkan berbagai keterampilan, seperti navigasi dasar dan interaksi dengan objek, bahkan ketika target tidak terlihat secara langsung. Ini menunjukkan pemahaman intuitif terhadap lingkungan pelatihan, yang membuat SIMA unggul dalam pembelajaran dan pencocokan kinerja manusia dibandingkan dengan model bahasa besar seperti ChatGPT.

Namun, pelatihan lebih lanjut diperlukan agar agen AI permainan ini mampu menangani interaksi yang lebih kompleks.

Dalam perbandingan dengan manusia, SIMA telah mencapai kinerja yang cukup baik. Sebagai contoh, SIMA berhasil menyelesaikan 34% kasus, sementara manusia mampu menangani 60% dari tugas yang sama dalam permainan No Man’s Sky.

Pelatihan ini juga menunjukkan bahwa SIMA dapat berfungsi dengan baik sebagai agen AI yang umum. Ini berarti pengembang tidak perlu melatih SIMA secara terpisah untuk setiap permainan. Hal ini didukung oleh laporan teknis yang menunjukkan bahwa agen AI yang dilatih di beberapa permainan memiliki kinerja lebih baik daripada agen yang dilatih di satu permainan saja. Bahkan, agen yang tidak akrab dengan lingkungan permainan (yaitu, permainan yang belum pernah mereka pelajari sebelumnya) mampu bekerja dengan efektif sejajar dengan agen yang memiliki spesialisasi dalam lingkungan tersebut.

Sumber: Google DeepMind

Dalam penilaian kami, agen SIMA yang dilatih menggunakan sembilan game 3D dari portofolio kami secara signifikan melampaui semua agen yang hanya dilatih pada satu game saja.

Tim Pengembang SIMA

Oleh karena itu, dimungkinkan untuk melihat masa depan di mana Google merilis agen SIMA universal untuk semua jenis permainan, atau setidaknya agen SIMA untuk genre tertentu. Dalam skenario tersebut, layanan berlangganan dapat disediakan untuk pengguna yang dapat dengan mudah mengintegrasikannya dengan permainan.

Selain itu, Google bisa bermitra dengan studio permainan untuk menghadirkan versi khusus permainan populer yang didukung oleh kecerdasan buatan SIMA.

Namun, Google juga memiliki niat untuk mengembangkan sistem kecerdasan buatan yang berguna tidak hanya dalam lingkungan virtual 3D seperti permainan, tetapi juga dalam kehidupan nyata.

Sebagai perkiraan, aplikasi paling maju dari SIMA bisa menjadi robot bantu yang membantu dalam menjalankan tugas-tugas sehari-hari.