Setelah memesona internet (dan kami) dengan sifatnya yang absurd, spoof “Nothing, Forever” yang dihasilkan oleh AI “Nothing, Forever” ditangguhkan dari Twitch selama 14 hari.
Sebagai bagian dari parodi “Seinfeld”, salah satu adegan berulang di “Nothing, Forever” menunjukkan Larry Feinberg – karakter Jerry Seinfeld – melakukan rutinitas stand-up. Biasanya, lelucon Larry berbunyi seperti, “Apa itu beruang tanpa gigi? Beruang bergetah.” Namun, seperti yang dikatakan oleh pembuat “Nothing, Forever” Mismatch Media kepada gerakanpintar.com, tim membuat kesalahan dengan filter konten AI, yang mengakibatkan Larry memberikan rutinitas standup transphobic.
“Nothing, Forever”, yang telah streaming hampir terus-menerus sejak Desember, awalnya menghasilkan dialog karakter melalui model Davinci GPT-3, ditambah protokol pemfilteran konten Open AI. Namun ketika Davinci mulai mengalami masalah teknis, tim beralih ke model Curie yang kurang canggih. Setelah mengubah model, pencipta tidak memasukkan alat moderasi AI dengan tepat. Segera, Larry melontarkan lelucon transfobia, dan “Nothing, Forever” ditangguhkan.
“Pertama, izinkan saya mengatakan bahwa teks yang kami hasilkan adalah sebuah kesalahan, kami sangat malu, dan bahwa konten generatif yang dibuat sama sekali tidak mencerminkan nilai atau pendapat staf kami,” tulis co-creator Skyler Hartle dalam email ke gerakanpintar.com . “Kami sangat menyesali hal ini terjadi dan berharap untuk segera mengudara kembali, dengan semua perlindungan yang sesuai.”
Hartle juga mengatakan bahwa tim sedang menyelidiki sistem moderasi konten sekunder untuk ditambahkan sebagai redundansi, kalau-kalau filter moderasi konten mereka terputus-putus saat siaran langsung.
Twitch tidak menanggapi permintaan komentar. Hartle mengatakan dia juga tidak melakukan komunikasi langsung dengan Twitch. Namun pembuatnya percaya bahwa penangguhan tersebut adalah akibat dari komentar transfobia Larry, karena waktu penangguhan tersebut.
Pedoman komunitas Twitch melarang retorika kebencian tentang kelompok identitas tertentu, termasuk diskriminasi atau pelecehan berdasarkan identitas gender. Sistem moderasi konten platform tampaknya telah menangkap retorika transfobia dari Larry, seorang AI, dengan cukup cepat. Tetapi sementara sistem Twitch bereaksi cepat untuk mencabut platform AI, itu belum berhasil secara konsisten dalam mengurangi pelecehan yang disengaja terhadap orang transgender.
Sekitar satu setengah tahun yang lalu, platform ini diganggu oleh “serangan kebencian” yang berbahaya, yang secara khusus menargetkan pencipta kulit hitam dan transgender. Setelah aksi kolektif yang dipimpin kreator, Twitch meluncurkan fitur keamanan baru untuk membantu melindungi streamer dari serangan cyber yang kejam ini. Tahun lalu, ketika streamer Twitch Keffals menjadi terkenal karena berbicara tentang masalah LGBTQ+, dia menjadi sasaran pelecehan yang begitu keras sehingga dia menjadi sasaran di dalam rumahnya sendiri, menyebabkan dia bersembunyi. (Sebagian besar pelecehan ini berasal dari situs web lain, tetapi mulai tahun 2021, pedoman komunitas Twitch dapat meminta pertanggungjawaban pengguna Twitch atas pelecehan di luar platform.)
Pencipta “Nothing, Forever” mengatakan bahwa mereka tidak bermaksud menyiarkan komentar transfobia, dan mereka tidak mendukung pandangan tersebut. Namun kesulitan ini menunjukkan betapa cepatnya hiburan AI generatif dapat pergi ke selatan jika dibiarkan. Lagi pula, GPT-3 dilatih di internet itu sendiri, sehingga dapat menggemakan beberapa retorika paling keji dari seluruh web.
Ada sesuatu yang sangat ironis tentang insiden ini: snafu pemfilteran konten mendorong penangguhan Twitch dari apa yang pada dasarnya adalah robot. Sementara itu, Dave Chappelle baru saja memenangkan Grammy untuk album komedi “The Closer”, yang banyak dikritik karena transfobianya. Namun, bahkan di dalam alam semesta “Nothing, Forever” yang dihasilkan AI, penonton yang dihasilkan AI tidak menganggap lelucon Larry itu lucu.
“Ada sekitar 50 orang di sini dan tidak ada yang tertawa. Ada yang punya saran?” AI memulai set komedinya, sebelum melanjutkan omelan transfobia singkatnya. Kemudian, Larry menutup setnya, “Tidak ada yang tertawa, jadi saya akan berhenti. Terima kasih sudah keluar malam ini. Sampai jumpa lain waktu. Ke mana semua orang pergi?”