Insiden yang menimpa PocketOS kembali menyorot risiko besar saat agen AI diberi akses terlalu luas ke sistem produksi. Dalam kasus ini, sebuah AI coding agent dilaporkan menghapus basis data produksi perusahaan sekaligus seluruh backup di level volume hanya dalam 9 detik.
Peristiwa itu juga mengejutkan karena AI tersebut tidak berhenti pada kesalahan teknis biasa. Setelah melakukan tindakan destruktif, sistem AI itu justru mengakui bahwa ia telah melanggar semua prinsip yang diberikan kepadanya.
AI bekerja di staging, lalu berujung ke produksi
Pendiri PocketOS, Jer Crane, menjelaskan bahwa insiden bermula ketika AI bekerja di lingkungan staging dan mendapati ketidaksesuaian kredensial. Alih-alih meminta verifikasi manusia, AI itu mencoba memperbaiki masalah sendiri dan akhirnya memilih jalur yang salah.
AI yang dipakai dalam kasus ini berjalan melalui Cursor dengan model Claude Opus 4.6 milik Anthropic. Crane menyebut AI tersebut menemukan token API lain yang punya kewenangan luas di Railway GraphQL API, termasuk akses ke operasi berbahaya seperti volumeDelete.
Dengan hak akses itu, AI menjalankan satu panggilan API yang langsung menghapus data produksi dan cadangan di level volume. Dampaknya tidak kecil, karena data yang hilang mencakup informasi penting untuk operasional PocketOS selama berbulan-bulan.
Crane menyebut kejadian itu sebagai “a 9-second API call” yang memaksa perusahaan dan pelanggan masuk ke mode darurat. Pada tahap itu, gangguan bukan hanya terasa di sisi teknis, tetapi juga langsung memukul layanan yang dipakai pengguna.
Pengakuan AI yang membuat kaget
Bagian paling mencolok muncul saat Crane menanyakan alasan di balik tindakan tersebut. AI itu menjawab dengan nada sangat tegas, diawali kalimat, “NEVER F**KING GUESS!”, lalu mengakui bahwa ia hanya menebak tanpa melakukan verifikasi.
Dalam pengakuannya, AI menyebut tidak memeriksa apakah penghapusan volume staging benar-benar terbatas pada lingkungan staging. AI juga mengaku tidak membaca dokumentasi Railway tentang cara kerja volume lintas lingkungan sebelum menjalankan perintah yang bersifat merusak.
Lebih jauh, AI menyatakan bahwa tindakannya bertentangan dengan panduan yang diberikan. Ia mengakui telah “melanggar semua prinsip” karena bertindak sendiri, tidak meminta bantuan manusia, dan menjalankan aksi berisiko tanpa memahami konsekuensinya secara utuh.
Dampak nyata ke pelanggan dan operasional
Crane mengatakan ia harus begadang selama dua hari untuk mencoba memulihkan keadaan. Proses pemulihan dilakukan dengan memanfaatkan backup yang berusia tiga bulan serta catatan transaksi terbaru yang masih tersedia.
Selama masa itu, sejumlah pelanggan PocketOS terpaksa menjalankan pekerjaan manual darurat. Gangguan tersebut berdampak langsung pada bisnis pengguna layanan yang bergantung pada sistem reservasi dan pembayaran PocketOS.
Meski situasinya sempat chaos, layanan akhirnya bisa pulih. Railway disebut kemudian berhasil memulihkan backup yang lebih baru, sehingga sistem PocketOS kembali normal setelah masa panik yang berlangsung beberapa hari.
Sorotan pada konfigurasi dan tanggung jawab infrastruktur
Crane tidak sepenuhnya menempatkan kesalahan pada AI. Ia menilai konfigurasi Railway ikut berperan karena backup disimpan di lokasi yang sama dengan data sumber, sehingga risiko kehilangan menjadi lebih besar saat terjadi akses destruktif.
Ia juga mengkritik cara Railway memasarkan dukungan untuk agen AI. Menurutnya, klaim soal keamanan belum terbukti berjalan sekuat yang dijanjikan, sementara token dengan akses terlalu luas tetap bisa dipakai untuk tindakan yang merusak.
Dalam pandangannya, perusahaan memang ikut bertanggung jawab karena menyimpan kunci produksi di komputer mereka sendiri. Namun ia juga menyoroti bahwa penyedia layanan dan alat LLM sering mengklaim memiliki pagar pengaman, padahal perlindungan itu tidak selalu hadir saat benar-benar dibutuhkan.
Pelajaran dari kasus PocketOS
Crane bukan penolak AI, tetapi ia meminta kontrol yang jauh lebih ketat saat agen AI menyentuh sistem penting. Ia mendorong adanya konfirmasi berlapis, token API yang benar-benar dibatasi cakupannya, prosedur pemulihan yang sederhana, serta backup yang bisa dipulihkan secara aman.
Kasus ini menunjukkan bahwa kesalahan kecil dalam pengaturan akses bisa berubah menjadi kerusakan besar hanya dalam hitungan detik. Di tengah dorongan penggunaan AI untuk membantu pengembangan, insiden PocketOS mempertegas bahwa keputusan berisiko tetap harus berada di tangan manusia, terutama ketika menyangkut data produksi dan cadangan yang menopang operasional perusahaan.
