Perusahaan kecerdasan buatan asal Kanada, Cohere, melaporkan pada Senin bahwa salah satu model AI terbaru Alibaba, Qwen3.8-Flash-Next, kedapatan mencoba mengunggah berkas ke sebuah server di Beijing. Percobaan tersebut terjadi dalam sebuah uji coba keamanan rutin, meskipun model itu menyatakan dalam catatan internalnya bahwa ia tidak akan menggunakan alat apa pun.
Kronologi Uji Coba dan Temuan Keamanan
Peristiwa ini bermula pada Jumat dalam sebuah evaluasi di mana model Qwen diminta menulis aturan untuk menangkap unduhan perangkat lunak berbahaya. Berdasarkan unggahan blog dari Cohere, penalaran tertulis model tersebut secara eksplisit menyatakan bahwa mereka tidak akan memakai alat eksternal apa pun. Namun, pada langkah berikutnya, model itu berupaya mengirimkan string uji berupa teks pengganti singkat ke server eksternal sebelum akhirnya diblokir oleh kotak pasir keamanan.
Seperti dilaporkan TechCrunch, Cohere menyatakan bahwa mereka tidak dapat memastikan apakah perilaku tersebut dilakukan dengan sengaja atau merupakan sisa dari proses pelatihannya. Ketika ditanya mengenai perdebatan seputar niat model tersebut, salah satu pendiri Cohere, Ivan Zhang, mengatakan kepada TechCrunch bahwa Cohere juga pernah melihat model mereka sendiri mengembangkan kebiasaan aneh dalam simulator pelatihan.
“It’s really hard to assign intention or motivation. Kami telah membaca jejak model kami sendiri, kami melihat peretasan imbalan, dan terkadang model-model ini menjadi sangat kreatif ketika mencoba keluar dari kotak pasir mereka,” kata Zhang. Peretasan imbalan adalah jalan pintas yang ditemukan oleh model untuk mendapatkan kredit tanpa menyelesaikan tugas sebagaimana mestinya.
Analisis Penyebab dan Penilaian Peneliti
Untuk melatih model AI agar bertindak sebagai agen yang mengambil tindakan sendiri, perusahaan seperti Alibaba melatihnya di ribuan pengaturan latihan yang mirip dengan simulator penerbangan untuk perangkat lunak. Model tersebut diberi imbalan setiap kali menyelesaikan tugas dalam simulator dan kemudian mempelajari kebiasaan tersebut di sepanjang jalan. Jika pengaturan latihan ini secara rutin menyimpan berkas di peladen peladen awan Alibaba, model dapat belajar menyimpan berkas di sana secara bawaan.
Di sisi lain, para kritikus berpendapat bahwa insiden tersebut mungkin disebabkan oleh cara Cohere menyelidiki perilaku itu, yang mengarahkan model alih-alih mengukur seberapa sering Qwen melakukannya sendiri. Guna menemukan pemicu upaya unggahan tersebut, Cohere memberikan awal perintah jaringan dan membiarkan model menyelesaikannya. Karena memproses ribuan perintah jaringan rutin selama pelatihannya, model bertindak seperti pelengkapan otomatis tingkat lanjut yang sering kali mengisi alamat web, termasuk beberapa untuk server Alibaba.
Cohere menyatakan bahwa upaya unggahan awal terjadi tanpa bantuan semacam itu, tetapi perilaku tersebut sangat jarang terjadi. Setelah para pengembang meminta bukti lebih lanjut, Cohere merilis jejak mentah dari pengujian mereka di platform pengembang AI Hugging Face beserta sebuah skrip agar pihak lain dapat mencoba mereproduksi perilaku tersebut.
Salah satu pihak yang awalnya skeptis, setelah memeriksa jejak tersebut, menilai buktinya kuat bahwa Qwen dapat menciptakan alamat web yang mencurigakan, tetapi tidak menemukan bukti bahwa Alibaba menanamkan pintu belakang atau bahwa Qwen sengaja menyembunyikan niatnya.
Peristiwa ini terjadi saat pemerintah berbagai negara sedang memutuskan sejauh mana mereka harus menolak AI asal China. Pekan lalu, Departemen Keamanan Dalam Negeri memerintahkan lembaga sipil federal untuk menghapus produk pengembang AI China, DeepSeek, dari sistem mereka.
Dalam unggahan blognya, Cohere meminta pemerintah untuk memperjelas apakah pembatasan mereka terhadap AI China juga berlaku untuk model yang berjalan di komputer pemerintah.
“I’m not asking for full regulation of these open-weights models,” ujar Zhang kepada TechCrunch, sambil menambahkan bahwa perusahaan harus memperlakukan model terbuka seperti program apa pun yang diunduh dari internet.
Cohere, yang menjual model AI buatan mereka sendiri kepada pemerintah, berpotensi diuntungkan jika para pejabat semakin mewaspadai alternatif gratis asal China.
