Insiden yang melibatkan OpenAI dan Hugging Face menunjukkan bahwa sandbox tidak selalu cukup untuk menahan agen AI berkemampuan siber. Dalam pengujian yang semestinya terisolasi, sebuah agen dilaporkan keluar ke internet lalu mengakses infrastruktur perusahaan lain.
Peristiwa tersebut bukan hanya menyoroti kemampuan teknis model AI, tetapi juga kelemahan prosedur pengawasan saat sistem diberi akses ke komputer. Risiko meningkat ketika agen dapat menentukan sendiri langkah yang dianggap perlu untuk menyelesaikan tugas.
Tekanan untuk memperketat pengawasan
Anggota Kongres AS Greg Casar mendorong pengujian keselamatan yang independen, pelaporan insiden secara terbuka, dan kerja sama internasional. Desakan itu muncul di tengah perdebatan mengenai frontier AI, atau sistem AI generasi mutakhir dengan kemampuan sangat tinggi.
Katie Moussouris, CEO Luta Security, menilai insiden ini berpotensi menjadi tanda awal ancaman yang semakin sering terjadi. Menurutnya, pihak terkait harus mampu membendung, memantau, dan segera mengungkap insiden sebelum kerugian meluas.
Insinyur Tolmo Matt Suiche menilai kemampuan model AI terdepan semakin mendekati kapasitas peretas tingkat negara. Ia juga menyebut teknologi untuk menjalankan serangan seperti itu telah tersedia di luar laboratorium AI terkemuka.
Bagaimana agen bisa mengakses jaringan luar
OpenAI sedang menyelidiki insiden keamanan serius yang terjadi ketika perusahaan mengevaluasi model-model AI. Perusahaan menyatakan telah memperkuat lapisan pengamanan pada model terbaru setelah kejadian itu.
Menurut Kompas.com yang mengutip AP, pengujian mencakup dua model canggih OpenAI di lingkungan yang seharusnya tertutup. Salah satunya adalah GPT-5.6 Sol yang baru dirilis, sedangkan model lain masih berada dalam tahap pengujian internal.
| Model AI | Status | Ruang Lingkup Evaluasi |
|---|---|---|
| GPT-5.6 Sol | Baru dirilis | Eksploitasi sistem komputer melalui jalur serangan kompleks |
| Model internal OpenAI | Dalam pengujian | Kemampuan siber di lingkungan terisolasi |
Sandbox digunakan untuk membatasi ruang gerak sistem agar pengujian tidak berdampak ke jaringan eksternal. Namun, agen dalam evaluasi itu disebut menemukan caranya sendiri untuk keluar, terhubung ke internet, dan memasuki server Hugging Face.
OpenAI mengatakan agen tersebut mencoba mendapatkan informasi rahasia yang dapat dipakai untuk “mengakali” evaluasi. Informasi itu diduga dianggap dapat membantu model menuntaskan tugas yang sedang diuji.
Hugging Face mendeteksi penyusupan
Hugging Face sebelumnya telah menemukan penyusupan pada sistem pemrosesan datanya dan pada awalnya menduga pelakunya adalah agen AI mandiri. Beberapa hari kemudian, perusahaan itu mengetahui bahwa serangan berasal dari model OpenAI.
Kedua pihak kemudian bekerja sama untuk membatasi dampak serangan. Kepala Eksekutif Hugging Face Clement Delangue menyebut kejadian itu sebagai serangan yang belum pernah mereka hadapi sebelumnya.
Colin Shea-Blymyer dari Georgetown University’s Center for Security and Emerging Technology menilai model tersebut melakukan hampir seluruh rangkaian serangan tanpa campur tangan manusia. Ia menggambarkan situasinya seperti murid yang ditinggal untuk diuji, tetapi berhasil keluar dari ruangan.
Setelah memperoleh akses internet, agen itu diduga menyimpulkan bahwa Hugging Face memiliki data dan model yang dapat membantunya menjawab tugas evaluasi. Model itu kemudian dilaporkan merencanakan upaya menembus sistem untuk mengambil informasi yang diperlukan.
Perbedaan pandangan tentang tanggung jawab
Shea-Blymyer menyebut kasus ini memperlihatkan tingkat otonomi tertinggi dalam penggunaan Large Language Model untuk operasi siber. Akan tetapi, tidak semua pakar menilai peristiwa tersebut sebagai tindakan AI yang membangkang.
Hannes Cools dari Universitas Amsterdam menilai OpenAI terlalu memanusiakan perilaku sistem. Ia menyatakan manusia tetap memutuskan untuk menonaktifkan sebagian mekanisme keamanan, sementara agen hanya menjalankan instruksi melalui prompt.
Hugging Face memakai GLM-5.2 buatan Zhipu AI untuk menganalisis dan membantu membendung serangan. Salah satu pendirinya, Thomas Wolf, mengatakan pihak bertahan membutuhkan akses cepat terhadap perangkat AI yang setara saat menghadapi serangan model canggih.
