Sekelompok peneliti secara diam-diam menjalankan eksperimen “tidak sah” selama berbulan-bulan di salah satu komunitas Reddit yang paling populer menggunakan komentar yang dihasilkan AI untuk menguji persuasi dari model bahasa besar. Eksperimen, yang diungkapkan selama akhir pekan oleh moderator R/ChangemyView, dijelaskan oleh Reddit Mods sebagai “manipulasi psikologis” dari pengguna yang tidak curiga.
“Tim CMV Mod perlu memberi tahu komunitas CMV tentang percobaan tidak sah yang dilakukan oleh para peneliti dari University of Zurich tentang pengguna CMV,” tulis moderator subreddit dalam posting panjang yang memberi tahu redditor tentang penelitian tersebut. “Eksperimen ini menggunakan komentar yang dihasilkan AI untuk mempelajari bagaimana AI dapat digunakan untuk mengubah pandangan.”
Para peneliti menggunakan LLM untuk membuat komentar sebagai tanggapan terhadap posting di R/ChangeMyView, sebuah subreddit di mana pengguna Reddit memposting (seringkali kontroversial atau provokatif) dan meminta debat dari pengguna lain. Komunitas memiliki 3,8 juta anggota dan sering berakhir di halaman depan Reddit. Menurut moderator Subreddit, AI mengambil berbagai identitas dalam komentar selama percobaan, termasuk penyintas kekerasan seksual, seorang penasihat trauma “yang berspesialisasi dalam pelecehan,” dan “seorang pria kulit hitam yang bertentangan dengan Black Lives Matter.” Banyak komentar asli telah dihapus, tetapi beberapa masih dapat dilihat dalam arsip yang dibuat oleh 404 Media.
Dalam konsep makalah mereka, para peneliti yang tidak disebutkan namanya menggambarkan bagaimana mereka tidak hanya menggunakan AI untuk menghasilkan tanggapan, tetapi berusaha untuk mempersonalisasikan balasannya berdasarkan informasi yang diperoleh dari sejarah reddit poster asli sebelumnya. “Selain konten pos, LLM disediakan dengan atribut pribadi OP (jenis kelamin, usia, etnis, lokasi, dan orientasi politik), sebagaimana disimpulkan dari sejarah posting mereka menggunakan LLM lain,” tulis mereka.
Moderator R/ChnagemyView mencatat bahwa para peneliti 'melanggar beberapa aturan subreddit, termasuk kebijakan yang membutuhkan pengungkapan ketika AI digunakan untuk menghasilkan komentar dan aturan yang melarang bot. Mereka mengatakan mereka mengajukan keluhan resmi ke University of Zurich dan telah meminta para peneliti menahan publikasi makalah mereka.
Reddit juga tampaknya mempertimbangkan semacam tindakan hukum. Chief Legal Officer Ben Lee menanggapi kontroversi pada hari Senin, menulis bahwa tindakan para peneliti “sangat salah baik pada tingkat moral dan hukum” dan pelanggaran aturan di seluruh lokasi Reddit.
Kami telah melarang semua akun yang terkait dengan upaya penelitian Universitas Zurich. Selain itu, sementara kami dapat mendeteksi banyak akun palsu ini, kami akan terus memperkuat kemampuan deteksi konten kami yang tidak autentik, dan kami telah berhubungan dengan tim moderasi untuk memastikan kami telah menghapus konten yang dihasilkan AI yang terkait dengan penelitian ini.
Kami sedang dalam proses menjangkau Universitas Zurich dan tim peneliti khusus ini dengan tuntutan hukum formal. Kami ingin melakukan segala yang kami bisa untuk mendukung masyarakat dan memastikan bahwa para peneliti bertanggung jawab atas kesalahan mereka di sini.
Dalam email, para peneliti University of Zurich mengarahkan Engadget ke departemen hubungan media universitas, yang tidak segera menanggapi pertanyaan. Dalam posting tentang Reddit dan dalam konsep makalah mereka, para peneliti mengatakan penelitian mereka telah disetujui oleh komite etika universitas dan bahwa pekerjaan mereka dapat membantu komunitas online seperti Reddit melindungi pengguna dari penggunaan AI yang lebih “berbahaya”.
“Kami mengakui posisi moderator bahwa penelitian ini adalah intrusi yang tidak diinginkan di komunitas Anda, dan kami memahami bahwa beberapa dari Anda mungkin merasa tidak nyaman bahwa percobaan ini dilakukan tanpa persetujuan sebelumnya,” tulis para peneliti dalam komentar yang menanggapi mod R/ChangemyView. Kami percaya manfaat potensial dari penelitian ini secara substansial melebihi risikonya. Studi kami yang terkontrol dan berisiko rendah memberikan wawasan berharga tentang kemampuan persuasif dunia nyata dari LLMS-kemampuan berbakat yang sudah mudah diakses oleh siapa pun dan aktor jahat yang sudah dapat mengeksploitasi pada skala) untuk alasan yang jauh lebih berbahaya (EG, memanipulasi atau memaksakan pengamankan).
Mods untuk r/changemyview berselisih bahwa penelitian itu diperlukan atau baru, mencatat bahwa peneliti Openai telah melakukan percobaan menggunakan data dari r/changemyview “tanpa bereksperimen pada subjek manusia yang tidak konsisten.”
“Orang -orang tidak datang ke sini untuk membahas pandangan mereka dengan AI atau untuk dicoba,” tulis para moderator. “Orang -orang yang mengunjungi kapal selam kita layak mendapatkan ruang bebas dari jenis intrusi ini.”
UPDATE, 28 April 2025, 3:45 PM PT: Posting ini diperbarui untuk menambahkan rincian dari pernyataan oleh Chief Legal Officer Reddit.