3D GENERATED SCENE BASED ON 2D IMAGE WITH GENERATIVE QUERY NETWORK ( GQN )

Memproduksi scene 3D secara otomatis dan hanya bermodalkan gambar 2D.

Julian Akbar Renaldi – Mahasiswa Teknologi Game Politeknik Elektronika Negeri Surabaya

Surabaya – Scene atau ruangan 3D pada saat ini hanya bisa diproduksi secara manual melalui modelling di software 3D. Tentu hal ini membutuhkan waktu yang tidak singkat dan skill yang mumpuni untuk bisa membuat asset model 3D. Oleh karena itu dengan adanya Generative Query Network ( GQN ) waktu development asset 3D pada game dapat dipercepat hanya dengan mengandalkan gambar 2D. Melalui data ini, GQN akan memproses scene 3D secara otomatis.

GQN adalahjaringan saraf / nerural network yang dapat mengajarkan dirinya sendiri untuk 'membayangkan' sebuah scene dari sudut pandang yang berbeda, berdasarkan hanya satu gambar. Manusia menggunakan jenis inferensi visual dan spasial, yang disebut penalaran relasional, sepanjang waktu, dari menebak berapa banyak cerita yang dimiliki gedung pencakar langit atau mengumpulkan bukti dari TKP. Dan mirip dengan bagaimana bayi manusia belajar, GCN belajar dengan mencoba memahami pengamatannya di seluruh dunia di sekitarnya. Dengan demikian, GCN belajar tentang adegan yang masuk akal dan sifat geometrisnya, tanpa pelabelan manusia apa pun dari konten adegannya.

GCN terdiri dari dua bagian: jaringan representasi dan jaringan generasi. Representasi mengambil pengamatan agen sebagai masukan dan menghasilkan vektor representasi yang menggambarkan adegan yang mendasarinya. Dari vektor representasi ini, jaringan generasi memprediksi, ‘imagines’, pemandangan dari sudut pandang yang sebelumnya tidak teramati. Gagasan yang kuat di sini adalah bahwa GCN menempatkan semua elemen dan hubungan yang paling penting dari input 2D, seperti posisi objek, warna, dan tata lingkungan, dengan cara abstrak yang sangat padat, meninggalkan generasi untuk mengisi rincian bila perlu.

Dengan adanya automasi pada proses pengerjaan asset game berbasis 3D maka waktu pengerjaan game akan lebih cepat. Serta biaya pengeluaran untuk pengerjaan game dapat dipangkas. Dengan hadirnya GQN proses pembuatan asset 3D game dapat dipercepat dan dipermudah hanya dengan menggunakan hasil dari concept art 2D.