Idool: van één afbeelding naar 3D Gaussian Splats

Hoogtepunten en resultaten

Idol, van Speridlabs, transformeert een foto, render of gegenereerde afbeelding van één object in een roteerbare 3D Gaussian splat. Het voorspelt de onzichtbare zijden van het object en exporteert een standaard 3DGS PLY met 32.768 tot 1.048.576 Gaussians. De praktische aantrekkingskracht is een openbare inference-SDK met instelbare uitvoerdichtheid en geheugenvereisten voor consumenten-GPU's, in plaats van een verplichte sessie voor opnamen vanuit meerdere hoeken. Officiële onderzoekspagina.

De vergelijking van de auteurs gebruikt één H100 per model. Bij 50 samplingstappen en 262.144 Gaussians rapporteert Idol 6,8 seconden per verzoek, een SSIM van 0,726 voor de invoerweergave en een DINOv2-gelijkenis van 0,781 voor zeven nieuwe weergaven, vergeleken met respectievelijk 0,716 en 0,754 voor TRELLIS bij de vermelde instelling van 50 + 50 stappen. LGM is sneller met 1,1 seconde, dus Idol leidt niet op elke metriek. Dit zijn door de auteurs gerapporteerde resultaten; de weergegeven vergelijking vermeldt geen benoemde benchmarkdataset of aantal voorbeelden. Benchmark.

Een afzonderlijke timingtabel rapporteert 19,1 seconden op een RTX 4090 bij dezelfde instelling van 50 stappen en 262.144 Gaussians, waarbij de mediaan over acht afbeeldingen wordt genomen. De modelkaart rapporteert 7,2 GB piekgeheugen. De kop “minder dan twee seconden” moet daarom niet worden gelezen als de gemeten runtime van deze standaardconfiguratie op een 4090. Modelkaart en hardware-instellingen.

Hoe het werkt

Het inferencepad is beeldvoorbereiding → dubbele beeldcodering → gezamenlijke flow-sampling van object en camera → plaatsing van octree-ankers → Gaussian-decodering → export van PLY en camera. BiRefNet verwijdert de achtergrond en het object wordt ingekaderd op 1024 × 1024 pixels. De foto- en synthetische modus gebruiken verschillende marges voor het bijsnijden, respectievelijk 1,7 en 1,2. Pipeline.

DINOv3 levert visuele featuretokens, terwijl de FLUX.2 VAE gecomprimeerde beeldinformatie levert. Na projectie naar de werkdimensie van de transformer worden hun embeddings opgeteld om beeldconditionering te vormen. De generatie begint met twee willekeurige tensors: een objectlatent met 8.192 tokens van 16 kanalen en een cameratoken met vijf kanalen. De stromen worden afzonderlijk verfijnd voordat gezamenlijke attention de latent-, beeld- en camer tokens samen verwerkt. Het model voorspelt snelheden voor zowel object als camera, waardoor het gezichtspunt onderdeel van de generatie wordt in plaats van een onafhankelijk veronderstelde invoer. Transformerimplementatie.

De sampler integreert rectified flow van ruis bij t = 1 naar data bij t = 0 met Euler-stappen. De standaardwaarden zijn 50 stappen, guidanceparameter w = 3 en tijdverschuiving 3. De daadwerkelijke guidancevergelijking is v = (1 + w)v_cond − wv_uncond; de verschoven tijdsgrid wijst meer stappen toe aan gebieden met veel ruis. Deze bewerkingen veranderen de compacte latent en camerastatus, niet miljoenen expliciete Gaussians bij elke iteratie. Flow-sampler.

Decodering breidt dat compacte resultaat ruimtelijk uit. Een octree-decoder conditioneert op de objectlatent en verdeelt een gevraagd aantal ankers over acht kindcellen op elk niveau. Een Gaussian-decoder leest dezelfde latent via cross-attention en geeft 32 Gaussians per anker uit, waarbij positieverschuivingen, kleur, schaal, rotatie en opacity worden voorspeld. Voor 262.144 Gaussians zijn dus 8.192 ankers nodig. De uitvoerdichtheid wordt tijdens het decoderen bepaald; dit is niet het aantal latenttokens of een niveau voor mesh-subdivisie. Decoders.

De denoiser bevat 370,6M parameters en de twee decoders ongeveer 288,1M, wat voor deze kerncomponenten ongeveer 0,66B oplevert. Inclusief beeldencoders en achtergrondverwijdering komt het volledige verzoek uit op ongeveer 1,80B parameters. De SDK retourneert de splat, de verwerkte invoerafbeelding en voorspelde camer parameters. GPU-optimalisaties compileren de denoiser en batchen conditionele/onconditionele passes, met extra opstartkosten bij de eerste generatie. Componentenoverzicht en runtime.

Toepassingen, beschikbaarheid en toekomstige richtingen

De uitvoer is geschikt voor op splats gebaseerde objectvoorbeelden, interactieve presentaties en experimenten met beeld-naar-3D-generatie. Een Gaussian PLY is geen waterdicht polygoonmesh, CAD-solid of automatisch gerigd personage. Verborgen oppervlakken worden afgeleid in plaats van gemeten. De SDK en gewichten zijn gepubliceerd met Apache-2.0-labeling, terwijl de vereiste DINOv3- en FLUX.2-encodercomponenten afzonderlijk gated toegang en hun toepasselijke voorwaarden vereisen. Release en toegangsvereisten.

Deze review gebruikt de officiële onderzoekspagina, modelkaart en SDK-commit 4702a7f, gecontroleerd op 6 november 2026. In die materialen werd geen zelfstandig technisch artikel of expliciete toekomstplanning specifiek voor Idol gevonden. De geïnspecteerde repository levert inference en een demo, dus de interne werking ervan vormt geen bewijs voor een niet-openbaar gemaakt trainingsrecept. Voor dit artikel is geen modelinference of benchmark opnieuw uitgevoerd.