Dalam artikel baharu Point-E: Sistem untuk menjana awan titik 3D daripada isyarat kompleks, pasukan penyelidik OpenAI memperkenalkan Point E, sistem sintesis bersyarat teks awan titik 3D yang menggunakan model resapan untuk mencipta bentuk 3D yang pelbagai dan kompleks dipacu oleh teks kompleks isyarat.dalam beberapa minit pada satu GPU.
Prestasi menakjubkan model penjanaan imej terkini telah merangsang penyelidikan dalam penjanaan objek teks 3D.Walau bagaimanapun, tidak seperti model 2D, yang boleh menjana output dalam beberapa minit atau bahkan saat, model generatif objek biasanya memerlukan beberapa jam kerja GPU untuk menjana satu sampel.
Dalam artikel baharu Point-E: Sistem untuk menjana awan titik 3D daripada isyarat kompleks, pasukan penyelidik OpenAI mempersembahkan Point·E, sistem sintesis bersyarat tekstual untuk awan titik 3D.Pendekatan baharu ini menggunakan model penyebaran untuk mencipta bentuk 3D yang pelbagai dan kompleks daripada isyarat teks kompleks hanya dalam satu atau dua minit pada satu GPU.
Pasukan ini memberi tumpuan kepada cabaran untuk menukar teks kepada 3D, yang penting untuk mendemokrasikan penciptaan kandungan 3D untuk aplikasi dunia sebenar daripada realiti maya dan permainan kepada reka bentuk perindustrian.Kaedah sedia ada untuk menukar teks kepada 3D terbahagi kepada dua kategori, setiap satunya mempunyai kelemahannya: 1) model generatif boleh digunakan untuk menjana sampel dengan cekap, tetapi tidak boleh menskalakan dengan cekap untuk isyarat teks yang pelbagai dan kompleks;2) model imej teks yang telah dilatih untuk mengendalikan isyarat teks yang kompleks dan pelbagai, tetapi pendekatan ini adalah intensif dari segi pengiraan dan model boleh dengan mudah tersekat dalam minima tempatan yang tidak sepadan dengan objek 3D yang bermakna atau koheren.
Oleh itu, pasukan itu meneroka pendekatan alternatif yang bertujuan untuk menggabungkan kekuatan kedua-dua pendekatan di atas, menggunakan model penyebaran teks-ke-imej yang dilatih pada set besar pasangan imej teks (membolehkan ia mengendalikan isyarat yang pelbagai dan kompleks) dan model penyebaran imej 3D yang dilatih pada set pasangan imej teks yang lebih kecil.set data pasangan imej-3D.Model teks-ke-imej mula-mula mengambil sampel imej input untuk mencipta perwakilan sintetik tunggal, dan model imej-ke-3D mencipta awan titik 3D berdasarkan imej yang dipilih.
Timbunan generatif arahan adalah berdasarkan rangka kerja generatif yang dicadangkan baru-baru ini untuk menjana imej secara bersyarat daripada teks (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Mereka menggunakan model GLIDE dengan 3 bilion parameter GLIDE (Nichol et al., 2021), diperhalusi pada model 3D yang diberikan, sebagai model transformasi teks kepada imej mereka, dan satu set model resapan yang menjana awan titik RGB sebagai model transformasi.imej kepada imej.model 3D.
Walaupun kerja sebelumnya menggunakan seni bina 3D untuk memproses awan titik, penyelidik menggunakan model berasaskan transduser mudah (Vaswani et al., 2017) untuk meningkatkan kecekapan.Dalam seni bina model resapan mereka, imej awan titik mula-mula dimasukkan ke dalam model ViT-L/14 CLIP yang telah dilatih dan kemudian jejaring output dimasukkan ke dalam penukar sebagai penanda.
Dalam kajian empirikal mereka, pasukan itu membandingkan kaedah Point·E yang dicadangkan dengan model 3D generatif lain pada isyarat pemarkahan daripada pengesanan objek COCO, segmentasi dan set data tandatangan.Keputusan mengesahkan bahawa Point·E mampu menjana bentuk 3D yang pelbagai dan kompleks daripada isyarat teks kompleks dan mempercepatkan masa inferens dengan satu hingga dua susunan magnitud.Pasukan berharap kerja mereka akan memberi inspirasi kepada penyelidikan lanjut ke dalam sintesis teks 3D.
Model penyebaran awan titik terlatih dan kod penilaian tersedia pada GitHub projek.Document Point-E: Sistem untuk mencipta awan titik 3D daripada petunjuk kompleks ada pada arXiv.
Kami tahu bahawa anda tidak mahu terlepas sebarang berita atau penemuan saintifik.Langgan surat berita Mingguan AI Global Synced yang popular kami untuk menerima kemas kini AI mingguan.
Masa siaran: Dis-28-2022