Peningkatan foto dalam film dan acara TV sering diejek karena tidak dapat dipercaya, tetapi penelitian dalam peningkatan foto asli (nyata) sebenarnya semakin merambat ke ranah fiksi ilmiah. Hal tersebut dikarenakan terlihatnya teknologi peningkatan foto AI terbaru Google.
Dalam sebuah postingan berjudul “Pembuatan Gambar Fidelitas Tinggi Menggunakan Model Difusi” yang diterbitkan di Google AI Blog (dan ditemukan oleh DPR), peneliti perusahaan Google di Brain Team berbagi tentang terobosan baru yang mereka buat dalam gambar dengan resolusi tinggi.
Dalam gambar dengan resolusi tinggi, model pembelajaran mesin dilatih untuk mengubah foto beresolusi rendah menjadi foto beresolusi tinggi yang mendetail, dan aplikasi ini memiliki potensial dari rentang yang dimulai dari memulihkan foto keluarga lama hingga meningkatkan pencitraan medis.
Dilansir dari petapixel.com, Google telah mengeksplorasi konsep yang disebut “model difusi,” yang pertama kali diusulkan pada tahun 2015 tetapi, hingga saat ini, mengambil kursi belakang ke keluarga metode pembelajaran mendalam yang disebut “model generatif mendalam.” Perusahaan telah menemukan bahwa hasilnya dengan pendekatan baru ini mengalahkan teknologi yang ada ketika manusia diminta untuk menilai.
Pendekatan pertama disebut SR3, atau Super-Resolution via Repeated Refinement. Berikut penjelasan teknisnya:
“SR3 adalah model difusi resolusi super yang mengambil gambar beresolusi rendah sebagai masukan, dan membangun gambar beresolusi tinggi yang sesuai dari noise murni,” tulis Google.
“Model ini dilatih pada proses korupsi gambar di mana noise secara progresif ditambahkan ke gambar resolusi tinggi hingga hanya noise murni yang tersisa,” jelasnya.
“Ia kemudian belajar membalikkan proses ini, mulai dari noise murni dan secara progresif menghilangkan noise untuk mencapai distribusi target melalui panduan input gambar resolusi rendah,” imbuhnya.
SR3 telah terbukti bekerja dengan baik pada potret yang ditingkatkan dan gambar alami. Ketika digunakan untuk melakukan upscaling 8x pada wajah, ia memiliki “tingkat kebingungan” hampir 50% sementara metode yang ada hanya naik hingga 34%, menunjukkan bahwa hasil foto memang realistis.
Setelah Google melihat seberapa efektif SR3 dalam meningkatkan foto, perusahaan melangkah lebih jauh dengan pendekatan kedua yang disebut CDM, model difusi bersyarat kelas.
“CDM adalah model difusi bersyarat kelas yang dilatih pada data ImageNet untuk menghasilkan gambar alami beresolusi tinggi,” tulis Google.
“Karena ImageNet adalah kumpulan data entropi tinggi yang sulit, kami membangun CDM sebagai kaskade dari beberapa model difusi. Pendekatan kaskade ini melibatkan rantai bersama beberapa model generatif melalui beberapa resolusi spasial: satu model difusi yang menghasilkan data pada resolusi rendah, diikuti oleh urutan model difusi resolusi super SR3 yang secara bertahap meningkatkan resolusi gambar yang dihasilkan ke resolusi tertinggi,” jelas Google.
Google telah menerbitkan serangkaian contoh yang menunjukkan foto beresolusi rendah yang ditingkatkan secara kaskade. Foto 32×32 dapat ditingkatkan menjadi 64×64 dan ditingkatkan lagi sampai 256×256. Sebuah foto 64×64 dapat ditingkatkan ke 256×256 dan ditingkatkan lagi hingga 1024×1024.
Seperti yang Anda lihat, hasilnya sangat mengesankan, meskipun memiliki beberapa kesalahan (seperti celah pada bingkai kacamata), kemungkinan akan terlihat sebagai foto asli yang sebenarnya bagi sebagian besar pemirsa pada pandangan pertama.
“Dengan SR3 dan CDM, kami telah mendorong kinerja model difusi ke tingkat yang paling mutakhir pada benchmark generasi ImageNet resolusi super dan kelas bersyarat,” tulis peneliti Google.
“Kami bersemangat untuk menguji lebih lanjut batasan model difusi untuk berbagai macam masalah pemodelan generative,” lanjutnya.(ra/hh)