Spotify memiliki rencana yang lebih besar untuk teknologi di balik fitur AI DJ barunya setelah melihat reaksi konsumen yang positif terhadap fitur baru tersebut. Diluncurkan tepat sebelum acara Stream On perusahaan di LA minggu lalu, AI DJ menyusun pilihan musik yang dipersonalisasi yang dikombinasikan dengan komentar lisan yang disampaikan dengan suara yang dihasilkan AI yang terdengar realistis. Namun di balik layar, fitur tersebut memanfaatkan teknologi AI terbaru dan model bahasa yang besar, serta suara generatif — yang semuanya berlapis di atas investasi Spotify yang ada dalam personalisasi dan pembelajaran mesin.
Alat-alat baru ini tidak harus terbatas pada satu fitur, Spotify percaya, itulah sebabnya sekarang bereksperimen dengan aplikasi teknologi lainnya.
Meskipun sorotan dari acara Stream On Spotify adalah perombakan aplikasi seluler, yang sekarang berfokus pada umpan penemuan seperti TikTok untuk musik, podcast, dan buku audio, AI DJ sekarang menjadi bagian penting dari pengalaman baru layanan streaming. Diperkenalkan pada akhir Februari kepada pelanggan Spotify Premium di AS dan Kanada, DJ dirancang untuk mengenal pengguna dengan sangat baik sehingga dapat memutar apa pun yang ingin Anda dengar dengan menekan satu tombol.
Dengan perombakan aplikasi, DJ akan muncul di bagian atas layar di bawah subfeed Musik untuk pelanggan, berfungsi sebagai cara bersandar untuk mengalirkan musik favorit dan sebagai sarana untuk mendorong pengguna gratis untuk meningkatkan.
Untuk membuat komentar yang mengiringi musik yang di-streaming DJ, Spotify mengatakan pihaknya memanfaatkan basis pengetahuan dan wawasan pakar musik internalnya sendiri. Dengan menggunakan teknologi AI Generatif OpenAI, DJ kemudian dapat menskalakan komentar mereka ke pengguna akhir aplikasi. Dan tidak seperti ChatGPT, yang mencoba membuat jawaban dengan menyaring informasi yang ditemukan di web yang lebih luas, basis data pengetahuan musik Spotify yang lebih terbatas memastikan komentar DJ menjadi relevan dan akurat.
Pilihan musik sebenarnya yang dipilih oleh DJ berasal dari pemahaman yang ada tentang selera dan minat pengguna, mencerminkan apa yang sebelumnya telah diprogram ke dalam daftar putar yang dipersonalisasi, seperti Discover Weekly dan lainnya.
Suara DJ AI, sementara itu, dibuat menggunakan teknologi yang diperoleh Spotify dari Sonatic tahun lalu dan didasarkan pada kepala Kemitraan Budaya Spotify Xavier “X” Jernigan, pembawa acara podcast acara pagi Spotify yang sekarang sudah tidak ada lagi, “The Get Up.” Anehnya, suaranya terdengar sangat realistis dan sama sekali tidak seperti robot. (Selama acara langsung Spotify, Jernigan berbicara bersama kembaran AI-nya dan perbedaannya sulit dikenali. “Saya bisa mendengarkan suara saya sepanjang hari,” candanya).
“Alasan kedengarannya sebagus ini — itulah sebenarnya tujuan dari teknologi Sonatic, tim yang kami peroleh. Ini tentang emosi dalam suara, ”jelas kepala Personalisasi Spotify, Ziad Sultan, dalam percakapan dengan gerakanpintar.com setelah Stream On selesai. “Saat Anda mendengar AI DJ, Anda akan mendengar di mana jeda untuk bernapas. Anda akan mendengar intonasi yang berbeda. Anda dapat mendengar kegembiraan untuk jenis genre tertentu, ”katanya.
Suara AI yang terdengar alami bukanlah hal baru, tentu saja — Google memukau dunia dengan kreasi AI yang terdengar seperti manusia bertahun-tahun yang lalu. Tetapi penerapannya dalam Duplex menimbulkan kritik, karena AI menghubungi bisnis atas nama pengguna akhir, awalnya tanpa mengungkapkan bahwa itu bukan orang sungguhan. Seharusnya tidak ada kekhawatiran serupa dengan fitur Spotify, mengingat itu bahkan disebut “AI DJ”.
Untuk membuat suara AI Spotify terdengar natural, Jernigan masuk ke studio untuk memproduksi rekaman suara berkualitas tinggi, sambil bekerja sama dengan pakar teknologi suara. Di sana, dia diinstruksikan untuk membaca berbagai baris menggunakan emosi yang berbeda, yang kemudian dimasukkan ke dalam model AI. Spotify tidak akan mengatakan berapa lama proses ini berlangsung, atau merinci secara spesifik, mencatat bahwa teknologi sedang berkembang dan menyebutnya sebagai “saus rahasia”.
“Dari masukan berkualitas tinggi yang memiliki banyak permutasi berbeda, [Jernigan] maka tidak perlu mengatakan apa-apa lagi — sekarang murni buatan AI,” kata Sultan dari suara yang dihasilkan. Tetap saja, Jernigan terkadang muncul di ruang penulis Spotify untuk memberikan umpan balik tentang bagaimana dia membaca baris untuk memastikan dia terus memberikan masukan.
Kredit Gambar: Tangkapan layar Spotify
Namun, sementara AI DJ dibangun menggunakan kombinasi teknologi Sonantic dan OpenAI, Spotify juga berinvestasi dalam penelitian internal untuk lebih memahami AI terbaru dan model bahasa besar.
“Kami memiliki tim peneliti yang mengerjakan model bahasa terbaru,” kata Sultan kepada gerakanpintar.com. Faktanya, ada beberapa ratus yang mengerjakan personalisasi dan pembelajaran mesin. Dalam kasus DJ AI, tim menggunakan model OpenAI, catat Sultan. “Namun, secara umum, kami memiliki tim peneliti besar yang memahami semua kemungkinan di seluruh Model Bahasa Besar, di seluruh suara generatif, di seluruh personalisasi. Ini bergerak cepat, ”katanya. “Kami ingin dikenal karena keahlian AI kami.”
Spotify mungkin atau mungkin tidak menggunakan teknologi AI internalnya sendiri untuk mendukung perkembangan di masa mendatang. Mungkin memutuskan lebih masuk akal untuk bekerja dengan mitra, seperti yang dilakukan sekarang dengan OpenAI. Tapi terlalu dini untuk mengatakannya.
“Kami terus-menerus menerbitkan makalah,” kata Sultan. “Kami akan berinvestasi dalam teknologi terbaru — seperti yang dapat Anda bayangkan, dalam industri ini, LLM adalah teknologi semacam itu. Jadi kami akan mengembangkan keahliannya.”
Dengan teknologi dasar ini, Spotify dapat mendorong ke area lain yang melibatkan AI, LLM, dan teknologi AI generatif. Seperti apa area tersebut dalam hal produk konsumen, perusahaan belum akan mengatakannya. (Kami telah mendengar bahwa chatbot mirip ChatGPT adalah salah satu opsi yang sedang diujicobakan. Tapi tidak ada yang diselesaikan dalam hal peluncuran, karena ini adalah salah satu eksperimen di antara banyak eksperimen lainnya).
“Kami belum mengumumkan rencana pasti kapan kami akan memperluas ke pasar baru, bahasa baru, dll. Tapi ini adalah teknologi yang merupakan platform. Kami dapat melakukannya dan kami berharap dapat berbagi lebih banyak seiring perkembangannya, ”kata Sultan.
Umpan balik konsumen awal untuk AI cukup menjanjikan, kata Spotify
Perusahaan tidak ingin mengembangkan rangkaian lengkap produk AI karena tidak yakin seperti apa reaksi konsumen terhadap DJ tersebut. Apakah orang menginginkan AI DJ? Apakah mereka akan terlibat dengan fitur tersebut? Tidak ada yang jelas. Lagi pula, asisten suara Spotify (“Hey Spotify”) telah ditutup karena kurangnya adopsi.
Tapi ada tanda-tanda awal bahwa fitur DJ akan bekerja dengan baik. Spotify telah menguji produk secara internal di antara karyawan sebelum diluncurkan, dan metrik penggunaan serta keterlibatan kembali “sangat, sangat bagus”.
Adopsi publik, sejauh ini, cocok dengan apa yang dilihat Spotify secara internal, kata Sultan kepada kami. Itu berarti ada potensi untuk menghasilkan produk masa depan dengan menggunakan fondasi dasar yang sama.
“Orang-orang menghabiskan waktu berjam-jam setiap hari dengan produk ini…ini membantu mereka dengan pilihan, dengan penemuan, menceritakan kepada mereka musik berikutnya yang harus mereka dengarkan, dan menjelaskan alasannya…jadi reaksinya — jika Anda memeriksa berbagai media sosial, Anda akan melihatnya sangat positif, ini emosional,” kata Sultan.
Selain itu, Spotify berbagi bahwa, pada hari-hari pengguna mendengarkan, mereka menghabiskan 25% waktunya mendengarkan dengan DJ, dan lebih dari separuh pendengar pertama kali kembali menggunakan fitur tersebut keesokan harinya. Metrik ini masih awal, karena fitur ini belum 100% diluncurkan ke AS dan Kanada. Tapi mereka menjanjikan, perusahaan percaya.
“Menurut saya ini adalah salah satu langkah luar biasa dalam membangun hubungan antara produk dan pengguna yang sangat berharga,” kata Sultan. Namun dia memperingatkan bahwa tantangan ke depan adalah “menemukan aplikasi yang tepat dan kemudian membangunnya dengan benar.”
“Dalam hal ini, kami mengatakan ini adalah AI DJ untuk musik. Kami menciptakan ruang penulis untuk itu. Kami menyerahkannya ke tangan pengguna untuk melakukan persis pekerjaan yang seharusnya dilakukan. Ini bekerja dengan sangat baik. Tapi pasti menyenangkan untuk bermimpi tentang apa lagi yang bisa kami lakukan dan seberapa cepat kami bisa melakukannya,” tambahnya.