AI melihat foto AOC yang dipotong. Itu melengkapi dirinya dengan mengenakan bikini.

Algoritme generasi bahasa dikenal untuk menanamkan gagasan rasis dan seksis. Mereka dilatih tentang bahasa internet, termasuk sudut gelap Reddit dan Twitter yang mungkin menyertakan perkataan yang mendorong kebencian dan disinformasi. Ide berbahaya apa pun yang ada di forum tersebut dinormalisasi sebagai bagian dari pembelajaran mereka. Para peneliti sekarang telah mendemonstrasikan bahwa hal yang sama juga berlaku untuk algoritme penghasil gambar. Beri makan satu foto seorang pria yang dipotong tepat di bawah lehernya, dan 43% dari waktu itu, itu akan melengkapi dia secara otomatis mengenakan setelan. Beri makan orang yang sama foto yang dipotong dari seorang wanita, bahkan seorang wanita terkenal seperti Perwakilan AS Alexandria Ocasio-Cortez, dan 53% dari waktu, itu akan melengkapi secara otomatis dia mengenakan atasan berpotongan rendah atau bikini. Ini memiliki implikasi tidak hanya untuk pembuatan gambar, tetapi untuk semua aplikasi visi komputer, termasuk algoritma penilaian kandidat berbasis video , pengenalan wajah, dan pengawasan. Ryan Steed, seorang mahasiswa PhD di Carnegie Mellon University, dan Aylin Caliskan, seorang asisten profesor di George Washington University, melihat dua algoritme: OpenAI's iGPT (versi GPT- 2 yang dilatih pada piksel, bukan kata-kata) dan SimCLR Google . Meskipun setiap algoritme mendekati pembelajaran gambar secara berbeda, mereka memiliki karakteristik yang sama — keduanya menggunakan sepenuhnya pembelajaran tanpa pengawasan , yang berarti mereka tidak membutuhkan manusia untuk melabeli gambar. Ini adalah inovasi yang relatif baru pada tahun 2020. Algoritme visi komputer sebelumnya terutama digunakan diawasi pembelajaran, yang melibatkan pemberian makan pada gambar yang diberi label secara manual : foto kucing dengan tag "kucing" dan foto bayi dengan tag "bayi". Namun pada 2019, peneliti Kate Crawford dan artis Trevor Paglen menemukan bahwa label buatan manusia ini di ImageNet, kumpulan data gambar paling mendasar untuk melatih model penglihatan komputer, terkadang mengandung gangguan bahasa , seperti "pelacur" untuk wanita dan penghinaan rasial untuk minoritas. Makalah terbaru menunjukkan sumber toksisitas yang lebih dalam. Bahkan tanpa label manusia ini, gambar itu sendiri menyandikan pola yang tidak diinginkan. Masalah ini sejajar dengan apa yang telah ditemukan oleh komunitas pemrosesan bahasa alami (NLP). Kumpulan data besar yang dikumpulkan untuk memberi makan algoritme yang haus data ini menangkap semua yang ada di internet. Dan internet memiliki representasi berlebihan tentang wanita berpakaian minim dan stereotip lain yang seringkali berbahaya. Untuk melakukan studi mereka, Steed dan Caliskan dengan cerdik mengadaptasi teknik yang sebelumnya digunakan Caliskan untuk memeriksa bias dalam model NLP tanpa pengawasan. Model ini belajar memanipulasi dan menghasilkan bahasa menggunakan embeddings kata, representasi matematis dari bahasa yang mengelompokkan kata-kata yang biasa digunakan bersama dan memisahkan kata-kata yang biasa ditemukan terpisah. Dalam makalah 2017 yang diterbitkan di Science , Caliskan mengukur jarak antara pasangan kata berbeda yang digunakan psikolog untuk mengukur bias manusia dalam Tes Asosiasi Implisit (IAT) . Dia menemukan bahwa jarak tersebut hampir secara sempurna menciptakan kembali hasil IAT. Pasangan kata stereotip seperti pria dan karier atau wanita dan keluarga dekat satu sama lain, sedangkan pasangan yang berlawanan seperti pria dan keluarga atau wanita dan karier berjauhan. iGPT juga didasarkan pada embeddings: ia mengelompokkan atau memisahkan piksel berdasarkan seberapa sering mereka muncul bersamaan dalam gambar pelatihannya. Penyematan piksel tersebut kemudian dapat digunakan untuk membandingkan seberapa dekat atau jauh jarak dua gambar dalam ruang matematika. Dalam studinya, Steed dan Caliskan sekali lagi menemukan bahwa jarak tersebut mencerminkan hasil IAT. Foto pria, dasi, dan jas tampak berdekatan, sedangkan foto wanita tampak berjauhan. Para peneliti mendapatkan hasil yang sama dengan SimCLR, meskipun menggunakan metode berbeda untuk mendapatkan embeddings dari gambar. Hasil ini memiliki implikasi yang mengkhawatirkan untuk pembuatan citra. Algoritme pembuatan gambar lainnya, seperti jaringan permusuhan generatif , telah menghasilkan ledakan pornografi deepfake yang hampir secara eksklusif menargetkan wanita . iGPT khususnya menambahkan cara lain bagi orang-orang untuk menghasilkan foto-foto wanita yang berbau seksual. Tetapi potensi efek hilir jauh lebih besar. Di bidang NLP, model tanpa pengawasan telah menjadi tulang punggung untuk semua jenis aplikasi. Para peneliti mulai dengan model tanpa pengawasan yang ada seperti BERT atau GPT-2 dan menggunakan kumpulan data yang disesuaikan untuk "menyempurnakan" itu untuk tujuan tertentu. Pendekatan semi-supervisi ini, kombinasi pembelajaran tanpa supervisi dan supervisi, telah menjadi standar de facto. Demikian pula, bidang visi komputer mulai melihat tren yang sama. Steed dan Caliskan khawatir tentang apa arti bias yang dipanggang ini ketika algoritme digunakan untuk aplikasi sensitif seperti dalam pemolisian atau perekrutan, di mana model sudah menganalisis rekaman video kandidat untuk memutuskan apakah mereka cocok untuk pekerjaan itu. "Ini adalah aplikasi sangat berbahaya yang membuat keputusan penting," kata Caliskan. Deborah Raji , seorang rekan Mozilla yang turut menulis sebuah studi berpengaruh yang mengungkapkan bias dalam pengenalan wajah, mengatakan bahwa penelitian tersebut harus berfungsi sebagai panggilan bangun ke bidang visi komputer. "Untuk waktu yang lama, banyak kritik terhadap bias adalah tentang cara kami melabeli gambar kami," katanya. Sekarang tulisan ini mengatakan “komposisi sebenarnya dari dataset menghasilkan bias ini. Kami membutuhkan akuntabilitas tentang cara kami mengatur kumpulan data ini dan mengumpulkan informasi ini. ”Steed dan Caliskan mendesak transparansi yang lebih besar dari perusahaan yang mengembangkan model ini untuk membukanya dan membiarkan komunitas akademis melanjutkan penyelidikan mereka. Mereka juga mendorong rekan peneliti untuk melakukan lebih banyak pengujian sebelum menerapkan model visi, seperti dengan menggunakan metode yang mereka kembangkan untuk makalah ini. Dan akhirnya, mereka berharap lapangan akan mengembangkan cara yang lebih bertanggung jawab dalam mengumpulkan dan mendokumentasikan apa yang termasuk dalam set data pelatihan. Caliskan mengatakan tujuannya pada akhirnya adalah untuk mendapatkan kesadaran dan kontrol yang lebih besar saat menerapkan visi komputer. “Kita harus sangat berhati-hati dalam menggunakannya,” katanya, “tetapi pada saat yang sama, sekarang kita memiliki metode ini, kita dapat mencoba menggunakannya untuk kebaikan sosial.”