Di gotarek nû de Point-E: Pergalek ji bo hilberîna ewrên xala 3D ji sînyalên tevlihev, tîmê lêkolînê OpenAI Point E, pergalek senteza şertî ya nivîsa ewrê xala 3D destnîşan dike ku modelên belavbûnê bikar tîne da ku şeklên 3D yên cihêreng û tevlihev ên ku ji hêla nivîsa tevlihev ve têne rêve kirin biafirîne. cues.di çend hûrdeman de li ser yek GPU.
Performansa ecêb a modelên nûjen ên nûjen ên wêneya îroyîn lêkolînê di nifşkirina tiştên nivîsê yên 3D de teşwîq kiriye.Lêbelê, berevajî modelên 2D, ku dikarin di çend hûrdeman an hetta çirkeyan de encam biafirînin, modelên hilberîner ên objektê bi gelemperî çend demjimêr xebata GPU hewce dikin ku nimûneyek yekane çêbikin.
Di gotarek nû de Point-E: Pergalek ji bo hilberîna ewrên xala 3D ji sînyalên tevlihev, tîmê lêkolînê ya OpenAI Point·E, pergalek senteza şertî ya tekstî ji bo ewrên xala 3D pêşkêşî dike.Ev nêzîkatiya nû modelek belavbûnê bikar tîne da ku di nav yek an du hûrdeman de li ser yek GPU-yê şeklên 3D yên cihêreng û tevlihev ji nîşaneyên nivîsê yên tevlihev biafirîne.
Tîm balê dikişîne ser dijwariya veguheztina nivîsê li 3D, ku ji bo demokratîzekirina afirandina naveroka 3D-ê ji bo serîlêdanên cîhana rastîn ji rastiya virtual û lîstikê heya sêwirana pîşesaziyê pir girîng e.Rêbazên heyî yên ji bo veguhertina nivîsê bo 3D dikevin du kategoriyan, ku her yek ji wan kêmasiyên xwe hene: 1) Modelên hilberîner dikarin ji bo hilberîna nimûneyan bi bandor werin bikar anîn, lê nikarin ji bo îşaretên nivîsê yên cihêreng û tevlihev bi karîgerî pîvandin;2) modelek nivîs-wêneya pêş-perwerdekirî ji bo rêgirtina nîşanên nivîsê yên tevlihev û cûrbecûr, lê ev nêzîkatî ji hêla jimartinê ve zexm e û model dikare bi hêsanî di hindiktirînên herêmî yên ku bi tiştên 3D yên watedar an hevgirtî re nagirin asê bimîne.
Ji ber vê yekê, tîmê rêgezek alternatîf lêkolîn kir ku armanc dike ku hêza her du nêzîkatiyên jorîn bihevre bike, bi karanîna modelek belavkirina nivîs-bi-wêne ku li ser komek mezin a cotên nivîs-wêne hatî perwerde kirin (dihêle ku ew nîşanên cihêreng û tevlihev bi dest bixe) û modelek belavkirina wêneya 3D ku li ser komek piçûktir a cotên nivîs-wêne hatî perwerde kirin.databasa cotek wêne-3D.Modela nivîs-bi-wêne pêşî wêneyê têketinê dişoxilîne da ku nûnertiyek sentetîk a yekane biafirîne, û modela wêne-ber-3D li ser bingeha wêneya hilbijartî ewrek xalek 3D diafirîne.
Pîvana hilberîner a fermanê li ser bingeha çarçoveyên hilberîner ên vê dawiyê yên pêşniyarkirî ye ji bo afirandina bi şert û mercên wêneyan ji nivîsê (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Ew modelek GLIDE ya bi 3 mîlyar parametreyên GLIDE bikar tînin (Nichol et al., 2021), ku li ser modelên 3D-yê hatine çêkirin, wekî modela veguheztina nivîs-ber-wêne, û komek modelên belavbûnê yên ku ewrên xala RGB wekî wan çêdikin, bikar tînin. modela veguherînê.wêne ber bi wêneyê.modelên 3D.
Dema ku xebata berê mîmariyên 3D bikar anîn da ku ewrên xalê bişopînin, lêkolîner modelek-based transducer-a hêsan bikar anîn (Vaswani et al., 2017) da ku karbidestiyê baştir bikin.Di mîmariya wan a modela belavbûnê de, wêneyên ewrê xalî pêşî di modelek ViT-L/14 CLIP-ê ya pêş-perwerdekirî de têne xwarin û dûv re tevnên derketinê wekî nîşanker di nav veguherîner de têne xwarin.
Di lêkolîna xwe ya ampîrîkî de, tîmê rêbaza pêşniyarkirî ya Point·E bi modelên din ên 3D-ya hilberîner re li ser tomarkirina îşaretên ji tespîtkirina tiştên COCO, dabeşkirin, û berhevokên îmzayê berhev kir.Encam piştrast dikin ku Point·E dikare şeklên 3D yên cihêreng û tevlihev ji sînyalên nivîsê yên tevlihev biafirîne û dema encamdanê bi yek-du rêzên mezinahiyê bilez bike.Tîm hêvî dike ku xebata wan îlhamê bide lêkolînên bêtir li ser senteza nivîsa 3D.
Modelek belavkirina ewr a xala pêş-perwerdekirî û koda nirxandinê li ser GitHub-a projeyê heye.Document Point-E: Pergalek ji bo afirandina ewrên xalên 3D ji nîşanên tevlihev li ser arXiv e.
Em dizanin ku hûn naxwazin tu nûçe an vedîtinên zanistî ji bîr nekin.Ji bo ku hûn nûvekirinên heftane yên AI-ê bistînin bibin aboneya bultena meya heftane ya Synced Global AI ya populer.
Dema şandinê: Dec-28-2022