Kill Switch AI

Regulator perbankan India sedang mendorong aturan yang jauh lebih tegas untuk penggunaan AI di bank. Intinya sederhana, setiap sistem AI harus bisa dimatikan seketika jika keluarannya dinilai berbahaya atau keliru. Reserve Bank of India (RBI) juga menegaskan bahwa keputusan yang digerakkan AI tidak boleh dibiarkan berjalan tanpa pengawasan manusia. Dalam rancangan pedoman barunya, bank tetap harus bisa menimpa, menangguhkan, atau menonaktifkan sistem AI kapan pun diperlukan. Pengawasan manusia jadi syarat utama RBI meminta semua pengambilan keputusan berbasis AI tetap berada di bawah kendali manusia, bukan hanya model generatif atau sistem canggih. Aturan ini berlaku luas, termasuk untuk model sederhana seperti kalkulator berbasis spreadsheet hingga sistem frontier AI yang kompleks. Langkah itu juga ditujukan untuk menekan risiko automation bias, yaitu saat pegawai terlalu percaya pada keluaran model tanpa memakai penilaian sendiri. Karena itu, kehadiran manusia diposisikan sebagai lapisan kontrol, bukan sekadar formalitas administratif. Bank tetap memikul tanggung jawab penuh Poin lain yang menonjol adalah soal akuntabilitas. RBI menegaskan bahwa bank tetap bertanggung jawab penuh atas hasil model apa pun yang digunakan, baik model itu dikembangkan sendiri, dibeli dari vendor, maupun dibangun lewat kombinasi keduanya. Bank juga diminta melakukan uji kelayakan yang memadai sebelum memakai model tersebut. Pendekatan ini menutup anggapan bahwa penggunaan vendor bisa memindahkan risiko keluar dari bank, karena dalam rancangan RBI tanggung jawab tetap berada pada entitas yang diatur. Menurut RBI, meluasnya penggunaan model artificial intelligence dan machine learning di berbagai proses bisnis dapat memunculkan risiko keuangan, operasional, kepatuhan, dan reputasi jika tata kelola serta pengendaliannya lemah. Jika tidak dikelola efektif, risiko itu bisa berujung pada hasil yang tidak akurat, keputusan yang cacat, kerugian finansial, gangguan operasional, dan kegagalan kepatuhan. Semua model dipetakan berdasarkan risiko RBI mengusulkan klasifikasi model berdasarkan tingkat risiko, lalu pengawasan, validasi, dan kontrol harus disesuaikan dengan tingkat tersebut. Jika risikonya melebihi risk appetite bank, rancangan pedoman mewajibkan tindakan cepat seperti penguatan kontrol, pembatasan penggunaan, perbaikan, penghentian model, dan pelaporan ke komite manajemen risiko dewan. Tingkat risiko juga tidak boleh dibiarkan statis, karena RBI meminta peninjauan setidaknya setahun sekali. Untuk model berisiko tinggi, persetujuan dari Risk Management Committee of the Board harus didapat sebelum penerapan. Tata kelola AI dinaikkan ke level dewan RBI menempatkan tata kelola AI dan model di level dewan melalui Model Risk Management Framework yang harus disetujui board. Kerangka ini wajib mencakup semua model, tanpa memandang apakah model dibuat internal, dibeli dari vendor, atau merupakan gabungan keduanya. Regulator juga menyoroti risiko rantai pasok akibat ketergantungan berlebihan pada segelintir penyedia model AI. Bank diminta mengelola risiko itu secara aktif agar penerapan AI tidak justru menambah kerentanan baru ke dalam sistem. Aturan tambahan untuk sistem yang berhadapan langsung dengan nasabah Untuk sistem yang berinteraksi langsung dengan pelanggan, bank harus memberi tahu nasabah ketika mereka sedang berbicara dengan AI. Nasabah juga harus diberi pilihan untuk beralih ke manusia kapan saja. Khusus model AI generatif yang berhubungan dengan pelanggan atau pengguna eksternal, RBI meminta kontrol keamanan siber tambahan. Penekanan ini datang di tengah meningkatnya kekhawatiran soal keamanan siber AI di sektor keuangan. RBI masih membuka masukan atas rancangan pedoman tersebut hingga 24 Juli. Jika disahkan, aturan ini bisa menjadi salah satu kerangka paling tegas untuk memastikan AI di perbankan tetap bisa dimatikan seketika, diawasi manusia, dan dikendalikan dari level dewan. Source: www.indiatoday.in

Regulator Minta Kill Switch, AI di Bank Tak Boleh Lagi Jalan Tanpa Kendali