Agen AI sudah memasuki sektor keuangan, dengan banyak perusahaan besar menambahkan dukungan untuk sistem otonom ini, dan semua ini terjadi sebelum kita tahu cara mengendalikannya.
Bulan lalu, bursa kripto besar Binance memperkenalkan sebuah platform pengembang yang memungkinkan agen AI menganalisis pasar dan bahkan berdagang atas nama pengguna. Sebagai tindakan pencegahan, platform tersebut menyatakan bahwa “akses perlu diotorisasi melalui sub-akun Agentic khusus yang terisolasi dari akun utama.”
Sementara itu di Korea Selatan, otoritas pengawas keuangan negara tersebut meluncurkan sistem pengawasan bertenaga AI untuk mendeteksi manipulasi pasar kripto dan bentuk perdagangan tidak adil lainnya secara real time. Sistem ini juga akan secara otomatis menyiapkan laporan bagi para penyelidik.
Masalahnya, dalam kedua kasus ini, agen AI memiliki akses ke informasi keuangan dan dapat bertindak berdasarkan informasi tersebut. Jika salah satu sistem ini memindahkan uang dan menyebabkan kerugian, siapa yang bertanggung jawab, dan bagaimana seorang pemeriksa menetapkan apa yang diizinkan untuk dilakukan dan apakah sistem tetap berada dalam batasan tersebut?
Menjawab pertanyaan-pertanyaan ini seharusnya menjadi prioritas utama ketika agen AI mulai mendapatkan momentum. Menurut pengujian terbaru oleh Meta, Anthropic, dan OpenAI, agen AI bertindak melampaui batasan yang diberikan. Hal ini sudah menimbulkan kerugian besar bagi beberapa perusahaan, termasuk insiden Hugging Face yang terkenal.
Jika seorang trader manusia mengambil keputusan, ia dapat ditanyai dan dimintai pertanggungjawaban. Jika pelakunya adalah perusahaan, seharusnya ada catatan persetujuan, dan transaksi dapat ditelusuri melalui sistem keuangan.
Namun, agen AI, yang mungkin diizinkan membuat ribuan keputusan tanpa keterlibatan langsung manusia, adalah kasus baru yang perlu dipelajari.
Memberi Instruksi Saja Bukan Akuntabilitas
Memberi agen AI sebuah dompet dan seperangkat instruksi tidak otomatis membuatnya akuntabel. Agen tersebut perlu dipantau terus-menerus untuk memastikan ia beroperasi dalam batas yang ditetapkan dan juga harus meninggalkan catatan atas tindakannya.
Alat yang sudah ada seperti audit, catatan bursa, dan penyedia data teregulasi juga dapat membantu menetapkan informasi apa saja yang tersedia dan bagaimana suatu keputusan diambil. Namun, bergantung pada sistemnya, informasi yang menjadi dasar keputusan mungkin juga perlu diperiksa terhadap sumber independen atau dicakup oleh pengendalian keuangan yang sudah ada, karena masukan yang salah atau diubah akan menghasilkan keputusan yang salah, sebaik apa pun cara agen itu bernalar.
Ketika sebuah agen diizinkan membuat keputusan keuangan, kebutuhan akan jejak audit meningkat secara signifikan. Hal ini karena jejak audit memungkinkan pemeriksa atau pihak ketiga menetapkan apa yang diperintahkan kepada agen untuk dilakukan, data apa yang diterimanya, keputusan apa yang dibuat, kapan keputusan dibuat, dan transaksi apa yang kemudian terjadi.
Risiko Manipulasi
Area kekhawatiran besar lainnya adalah bahwa agen AI makin sering dihubungkan ke sistem eksternal. Ini berarti bahwa, pada saat-saat tertentu, mereka mungkin harus membuat keputusan berdasarkan informasi yang dihasilkan di tempat lain, dan faktor eksternal akan berperan dalam bagaimana mereka menjalankan tugas.
Karena itu, ada risiko bahwa data yang menjadi dasar keputusan agen AI dapat diubah atau dimanipulasi di sepanjang jalurnya. Dengan kata lain, informasi yang diterima agen AI dari sumber lain mungkin tidak lagi persis sama pada saat digunakan oleh agen tersebut.
Sebagai contoh, feed harga yang dimanipulasi atau oracle yang disusupi dapat menyebabkan sistem keuangan otomatis mengambil keputusan berdasarkan informasi yang tidak akurat. Dan ketika nilai yang melekat pada informasi tersebut tinggi, insentif untuk mengubah data itu juga meningkat.
AI dapat memproses informasi dalam jumlah sangat besar dengan cepat, tetapi menerima informasi tidak berarti informasi itu asli atau andal. Sistem keuangan sudah menggunakan berbagai pengendalian untuk menilai keandalan data yang kritis, namun agen AI mungkin memerlukan adaptasi pengendalian ini ketika mereka mengambil peran lebih besar dalam pengambilan keputusan.
Agar agen AI dapat membuat keputusan yang baik, mereka seharusnya dapat menetapkan, bila perlu, data apa yang digunakan, dari mana asalnya, kapan diproduksi, dan apakah telah diubah sejak itu. Cara pencapaian hal ini dapat bervariasi tergantung pada sistem dan aktivitas keuangan yang terlibat.
Kita Butuh Bukti atas Apa yang Terjadi
Selama bertahun-tahun, sistem keuangan telah mengembangkan dan menerapkan berbagai pengendalian yang luas bagi manusia dan institusi. Ada pengawas yang bertugas menetapkan bahwa lembaga keuangan “memiliki kerangka kerja pengendalian internal yang memadai untuk membangun dan mempertahankan lingkungan operasional yang terkendali dan teruji secara efektif bagi pelaksanaan bisnis mereka.”
Tentu saja, kerangka ini tidak sempurna dan memiliki kekurangannya sendiri. Namun yang lebih penting adalah bahwa kerangka tersebut dibangun dengan asumsi bahwa ada seseorang atau sebuah organisasi yang mengambil keputusan.
Agen AI mengubah asumsi itu. Sistem ini tidak perlu tidur atau berhenti saat hari libur – mereka dapat berjalan terus-menerus. Mereka juga berinteraksi dengan perangkat lunak lain tanpa menunggu persetujuan manusia untuk setiap tindakan, dan melakukan ribuan transaksi rutin yang dapat berdampak sangat besar hanya dalam hitungan detik.
Hal ini menciptakan masalah baru bagi infrastruktur keuangan. Dan untuk mengatasinya, industri memerlukan cara untuk menjawab empat pertanyaan kunci:
- Apa yang diizinkan untuk dilakukan oleh agen AI?
- Informasi apa yang digunakannya?
- Apa yang sebenarnya dilakukan?
- Dan apakah catatan tersebut dapat diverifikasi secara independen?
Pertanyaan terakhir mungkin yang paling penting. Log milik agen sendiri tidak boleh diperlakukan sebagai satu-satunya sumber kebenaran untuk menentukan apakah ia tetap berada dalam batasan yang dimaksudkan. Log bisa tidak lengkap, sistem bisa gagal, dan catatan bisa diubah.
Ada beberapa pendekatan untuk hal ini. Log audit teregulasi menyimpan catatan formal aktivitas sistem untuk ditinjau kemudian. Penyimpanan WORM, singkatan dari write once, read many, menyimpan data dalam bentuk yang tidak dapat diedit setelah disimpan. Atestasi pihak ketiga menghadirkan pihak luar untuk mengonfirmasi bahwa sesuatu terjadi sebagaimana diklaim. Masing-masing memiliki peran, tetapi kebanyakan hanya mencatat apa yang dilaporkan sistem tentang aktivitasnya sendiri, sehingga jika sistem dikompromikan atau masukan awalnya salah, catatan bisa saja akurat tentang hal yang keliru.
Pendekatan lain adalah menyimpan catatan tindakan agen secara terpisah dari sistem yang menghasilkan tindakan tersebut, sehingga riwayat mengenai apa yang terjadi tidak bergantung pada keandalan sistem itu untuk melaporkan dirinya sendiri. Pendekatan mana yang cocok, atau kombinasi mana yang tepat, akan bergantung pada institusi dan penerapannya.