Pada hari Rabu, Anthropic merilis laporan yang merinci bagaimana Claude disalahgunakan selama Maret. Ini mengungkapkan beberapa tren yang mengejutkan dan baru dalam bagaimana aktor ancaman dan penyalahgunaan chatbot berkembang dan meningkatnya risiko yang ditimbulkan oleh AI generatif, bahkan dengan pengujian keselamatan yang tepat.
Masalah keamanan
Dalam satu kasus, Anthropic menemukan bahwa “aktor canggih” telah menggunakan Claude untuk membantu mengikis kredensial yang bocor “yang terkait dengan kamera keamanan” untuk mengakses perangkat, yang dicatat oleh perusahaan dalam pengumuman tersebut.
Juga: Bagaimana seorang peneliti tanpa keterampilan pengkodean malware menipu AI untuk menciptakan infostealer krom
Dalam kasus lain, seorang individu dengan “keterampilan teknis terbatas” dapat mengembangkan malware yang biasanya membutuhkan lebih banyak keahlian. Claude membantu orang ini mengambil kit open-source dari melakukan hanya dasar-dasar ke fungsi perangkat lunak yang lebih maju, seperti pengenalan wajah dan kemampuan untuk memindai web gelap.
Laporan Anthropic menyarankan kasus ini menunjukkan bagaimana AI generatif dapat secara efektif mempersenjatai aktor yang kurang berpengalaman yang tidak akan menjadi ancaman tanpa alat seperti Claude.
Juga: Antropik memetakan moralitas Claude. Inilah nilai chatbot (dan tidak)
Namun, perusahaan tidak dapat mengkonfirmasi apakah para aktor dalam kedua kasus telah berhasil mengerahkan pelanggaran ini.
Manipulasi media sosial
Dalam apa yang disebut antropik sebagai “operasi pengaruh-sebagai-layanan”-dan “kasus penyalahgunaan paling baru” ditemukan-aktor menggunakan Claude untuk menghasilkan konten untuk media sosial, termasuk gambar. Operasi ini juga mengarahkan bagaimana dan kapan lebih dari seratus bot di X dan Facebook akan terlibat dengan posting dari puluhan ribu akun manusia melalui komentar, menyukai, dan berbagi.
“Claude digunakan sebagai orkestrator yang memutuskan tindakan apa yang harus diambil akun media sosial berdasarkan kepribadian yang bermotivasi politik,” kata laporan itu, mengklarifikasi bahwa siapa pun di balik operasi itu dibayar untuk mendorong agenda politik klien mereka. Akun tersebut membentang beberapa negara dan bahasa, yang menunjukkan operasi global. Antropik menambahkan bahwa lapisan keterlibatan ini adalah evolusi dari kampanye pengaruh sebelumnya.
“Narasi politik ini konsisten dengan apa yang kami harapkan dari kampanye afiliasi negara,” kata perusahaan dalam rilisnya, meskipun tidak dapat mengkonfirmasi kecurigaan itu.
Juga: Rencana Project Liberty untuk desentralisasi Tiktok bisa menjadi cetak biru untuk internet yang lebih baik
Pengembangan ini penting karena pengguna dapat membuat sistem semi-otonom dengan Claude. Antropik mengharapkan jenis penyalahgunaan ini untuk melanjutkan ketika sistem agen AI berkembang.
Penipuan Perekrutan
Antropik juga menemukan skema rekrutmen rekayasa sosial di seluruh Eropa Timur yang menggunakan Claude untuk membuat bahasa penipuan lebih profesional, atau apa yang disebut “sanitasi bahasa.” Secara khusus, aktor-aktor ini telah mencairkan teks bahasa Inggris asli mereka yang non-pribumi untuk muncul seolah-olah ditulis oleh penutur asli sehingga mereka dapat berpose lebih baik sebagai manajer perekrutan.
Melindungi dari penyalahgunaan
“Program intelijen kami dimaksudkan untuk menjadi jaring pengaman dengan menemukan bahaya yang tidak tertangkap oleh deteksi skala standar kami dan untuk menambahkan konteks dalam seberapa buruk aktor yang buruk menggunakan model kami dengan jahat,” kata Anthropic tentang prosesnya. Setelah menganalisis percakapan untuk menemukan pola penyalahgunaan secara keseluruhan dan kasus -kasus tertentu, perusahaan melarang akun di belakangnya.
“Contoh -contoh ini dipilih karena mereka dengan jelas menggambarkan tren yang muncul dalam bagaimana aktor jahat beradaptasi dan memanfaatkan model AI perbatasan,” kata Anthropic dalam pengumuman tersebut. “Kami berharap dapat berkontribusi pada pemahaman yang lebih luas tentang lanskap ancaman yang berkembang dan membantu ekosistem AI yang lebih luas mengembangkan perlindungan yang lebih kuat.”
Juga: apakah gambar itu nyata atau ai? Sekarang Adobe punya aplikasi untuk itu – inilah cara menggunakannya
Laporan itu mengikuti berita dari dalam Openai bahwa perusahaan telah secara dramatis mempersingkat jadwal pengujian model. Pengujian sebelum dan sesudah penempatan untuk model AI baru sangat penting untuk mengurangi kerusakan yang dapat mereka sebabkan di tangan yang salah. Fakta bahwa antropik – sebuah perusahaan yang dikenal di ruang AI untuk komitmennya untuk menguji dan berhati -hati secara keseluruhan – menemukan kasus penggunaan ini setelah pengujian yang lebih konservatif secara objektif daripada pesaing adalah signifikan.
Karena peraturan AI federal masih belum jelas di bawah administrasi Trump, pelaporan diri dan pengujian pihak ketiga adalah satu-satunya perlindungan untuk memantau AI generatif.