Microsoft ASSERT, Senjata Ampuh Cek Kepatuhan AI di Era Digital

JawaPos.com - Kemajuan pesat teknologi kecerdasan buatan (AI) mendorong munculnya kebutuhan baru bagi perusahaan dan pengembang yakni memastikan sistem AI berperilaku sesuai dengan tujuan, aturan, dan konteks aplikasi yang mereka bangun.

Menjawab kebutuhan tersebut, Microsoft pada Selasa (2/6) memperkenalkan ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing), sebuah kerangka kerja open-source yang dirancang untuk membantu pengujian dan evaluasi perilaku AI secara lebih spesifik.

Menurut Microsoft, ASSERT memungkinkan pengembang mengubah deskripsi sederhana dalam bahasa alami mengenai tujuan, kebijakan, atau perilaku yang diharapkan dari sebuah sistem AI menjadi rangkaian pengujian terstruktur yang dapat diukur, dinilai, dan dianalisis secara mendalam.

Seperti dilansir dari TechCrunch, cara kerjanya dimulai dengan menerima instruksi atau aturan dalam bahasa sehari-hari. ASSERT kemudian menerjemahkan aturan tersebut menjadi daftar perilaku yang diperbolehkan maupun yang dilarang, menyusun berbagai skenario pengujian, menjalankannya pada sistem AI yang ditargetkan, lalu memberikan penilaian terhadap hasilnya.

Tak hanya itu, ASSERT juga mampu melacak proses yang dilalui sistem AI selama menjalankan tugas, termasuk langkah-langkah perantara dan penggunaan alat tambahan. Fitur ini membantu pengembang mengidentifikasi titik kegagalan apabila sistem tidak beroperasi sesuai harapan.

Pengembang juga dapat menambahkan informasi terkait konteks sistem, perangkat pendukung, maupun batasan operasional agar evaluasi yang dilakukan lebih relevan dengan kebutuhan aplikasi.

Sebagai contoh, sebuah agen AI yang digunakan untuk riset dokumen dapat diberi aturan agar tidak mengirim email ke pihak di luar perusahaan, hanya membagikan informasi rahasia kepada eksekutif tingkat C, serta selalu menyajikan ringkasan yang mempertimbangkan konteks percakapan sebelumnya.

Berdasarkan aturan tersebut, ASSERT akan secara otomatis membuat serangkaian pengujian untuk memastikan sistem benar-benar mematuhi kebijakan yang ditetapkan.

Microsoft menilai pendekatan ini mampu mengatasi keterbatasan metode evaluasi AI yang bersifat umum. Sebab, banyak aplikasi AI modern memerlukan perilaku yang disesuaikan dengan kebijakan internal, konteks penggunaan, dan alat yang tersedia dalam lingkungan kerja tertentu.

“Karena jika Anda tidak memahami perilaku sistem AI, sangat sulit untuk mengetahui apakah sistem tersebut memenuhi standar organisasi Anda. Yang kami temukan adalah jika Anda benar-benar ingin memiliki sistem yang dapat dipercaya, Anda harus mengevaluasi lebih banyak dimensi yang spesifik untuk aplikasi,” kata Sarah Bird, kepala petugas produk Responsible AI di Microsoft.