Secara resmi, Google telah mengumumkan produk berbasis kecerdasan buatan (AI) baru mereka yang dikenal sebagai VideoPoet. VideoPoet AI ini mampu menghasilkan video dari foto, teks, sampai audio.
Hal ini karena telah mengandalkan model bahasa besar (LLM). Dengan kehadiran VideoPoet AI, Google menjadi satu-satunya perusahaan teknologi raksasa pertama yang mengumumkan AI untuk menghasilkan video, foto, dan gambar.
Baca juga : 8 Tips Perlindungan Ransomware untuk Bisnis Paling Ampuh dan Cepat!
Apa itu Google VideoPoet AI?
Google VideoPoet AI adalah salah satu model bahasa eksperimental yang berukuran besar. Di mana AI ini dapat menghasilkan video dari perintah berbasis teks.
Kamu bisa langsung mendeskripsikan adegan fiksi, seperti “kucing sedang makan spageti”. Nantinya, VideoPoet juga akan menampilkan video tersebut dalam hitungan detik.
Apabila kamu pernah menggunakan generator gambar AI seperti Midjourney atau DALL-E 3, maka teknologi ini tak jauh berbeda dengan generator gambar tersebut. Sama seperti AI image generator, VideoPoet juga bisa langsung melakukan pengeditan pada konten video yang sudah ada.
Contohnya saja, kamu bisa memotong sebagian bingkai video dan meminta AI untuk mengisi celah tersebut dengan sesuatu yang lain. Makalah teknis VideoPoet ini juga telah dirilis Google dengan melibatkan sebanyak 31 peneliti dari Google Research.
Fakta Mengenai Google VideoPoet AI
Sebelum kamu menggunakan teknologi AI ini, harus tahu beberapa fakta menariknya. Berikut penjelasan terkait fakta dari Google VideoPoet AI, antara lain:
1. VideoPoet menggunakan LLM
Berdasarkan peneliti Google telah menjelaskan bahwa VideoPoet berbeda dari generator teks-ke-gambar dan teks-ke-video konvensional. VideoPoet tak dapat menggunakan model difusi untuk menghasilkan gambar dari noise acak.
VideoPoet saat ini telah menggunakan LLM, dimana teknologi yang sama juga digunakan pada Chat GPT dan Google Bard. VideoPoet tentunya telah mengambil konsep itu selangkah lebih maju. Sehingga membuatnya mampu memprediksi potongan video dan audio, serta bukan hanya teks.
2. Menggunakan 270 juta sample video publik untuk melatih VideoPoet
VideoPoet saat ini telah menjalani proses pra-pelatihan khusus yang telah melibatkan penerjemahan gambar, bingkai video. Terdapat, juga klip audio ke dalam bahasa umum.
Secara sederhana, model tersebut juga akan mempelajari cara menafsirkan modalitas yang berbeda dari data pelatihan. Google telah menyatakan bahwa mereka menggunakan satu miliar pasang gambar-teks dan 270 juta sample video publik.
Hal ini tentunya untuk bisa melatih VideoPoet. Pada akhirnya, VideoPoet juga mampu memprediksi video seperti model LLM tradisional yang memprediksi teks.
Berkat adanya pelatihan, VideoPoet juga mampu melakukan tugas di luar pembuatan teks-ke-video juga. Contohnya, bisa langsung menerapkan gaya pada video yang sudah ada.
Selain itu, juga bisa melakukan pengeditan, mengubah tampilan video dengan filter, serta mengubah gerakan objek bergerak di video yang sudah ada.
3. Berbeda dengan AI teks-video konvensional
VideoPoet Google satu ini berbeda dari kebanyakan pesaingnya yang mengandalkan model difusi untuk mengubah teks menjadi video. Proyek Make-A-Video dari Meta satu ini sempat membuat heboh komunitas AI.
Hal ini karena bisa menghasilkan beragam video tanpa pra-pelatihan pasangan video-teks. Namun, tak ada model yang dirilis ke publik. Karena sampai saat ini belum ada kompetitor yang merilis teknologi serupa ke publik.
Google sendiri bisa dibilang memimpin teknologi teks-video saat ini. Makalah teknis VideoPoet ini juga menyatakan mereka dapat menangani lebih banyak gerakan.
4. Belum ada informasi terkait ketersediaan
Meskipun Google saat ini telah menerbitkan lusinan contoh video untuk menunjukkan kekuatan VideoPoet. Google juga tidak mengumumkan peluncurannya ke publik. Dengan kata lain, sampai saat ini belum tahu kapan bisa menggunakan VideoPoet.
Google juga belum mengumumkan harga produk atau tanggal rilis untuk VideoPoet AI. Untuk saat ini, kamu hanya bisa menunggu update selanjutnya terkait perkembangan VideoPoet dari Google.
5. VideoPoet bisa menghasilkan video lebih panjang
Google juga mengatakan bahwa VideoPoet AI ini dapat menghasilkan video yang lebih panjang dibandingkan kompetitor. Meskipun terbatas pada video burst awal yang berdurasi dua detik, namun bisa mempertahankan konteks dalam video berdurasi delapan hingga sepuluh detik.
Meskipun mungkin terdengar sepele, namun ini cukup mengesankan mengingat seberapa banyak perubahan yang terjadi dalam jangka waktu tersebut. Jadi video contoh Google hanya bisa menyertakan beberapa lusin frame.
Hal ini jauh dari standar 24 atau 30 frame per detik yang digunakan untuk video atau pembuatan film profesional. VideoPoet yang diumumkan oleh Google juga mampu mengubah perintah teks menjadi video. Dengan menggunakan LLM, VideoPoet AI juga mampu membuat video yang lebih panjang dibandingkan kompetitornya.