Meta stellt SAM 3D vor

Metas neu­es­te Errun­gen­schaft ermög­licht es Ein­zel­per­so­nen, gewöhn­li­che Fotos fast sofort in 3D-Model­le zu ver­wan­deln. Die Tech­no­lo­gie, genannt SAM 3D, funk­tio­niert wie Magie—zeige auf ein belie­bi­ges Objekt oder eine Figur in einem Bild, und es wird zu etwas, das du dre­hen und ver­än­dern kannst. Was dies beson­ders auf­re­gend macht, ist wie der Tech­no­lo­gie-Rie­se zwei sepa­ra­te Sys­te­me ent­wi­ckelt hat, die zusam­men­ar­bei­ten und jeweils ver­schie­de­ne Her­aus­for­de­run­gen bewäl­ti­gen. Die Mar­ke hat gera­de alles für jeden zugäng­lich gemacht, was Türen für Krea­ti­ve über­all öffnet.

Zwei spezialisierte Modelle für Objekte und menschliche Körper

Metas SAM 3D kommt mit einer prak­ti­schen Auf­tei­lung : ein Modell bear­bei­tet all­täg­li­che Objek­te, wäh­rend sich das ande­re auf mensch­li­che Kör­per kon­zen­triert. Die­ser Ansatz gibt den Nut­zern die Frei­heit, zu rekon­stru­ie­ren, was sie benö­ti­gen. Das Objekt­mo­dell ver­wan­delt jeden mas­kier­ten Gegen­stand in einem Foto in ein voll­stän­di­ges 3D-Netz mit Tex­tur und Posi­ti­on. Es funk­tio­niert bei Stüh­len, Spiel­zeug oder Werkzeugen—allem, was man foto­gra­fie­ren kann. Wäh­rend­des­sen spe­zia­li­siert sich das Kör­per­mo­dell auf mensch­li­che Dar­stel­lung und erstellt voll­stän­di­ge Net­ze aus ein­zel­nen Bil­dern. Es erfasst Posen genau, selbst wenn Klei­dung Tei­le einer Per­son ver­deckt oder sie in unge­wöhn­li­chen Posi­tio­nen ste­hen. Bei­de Model­le unter­stüt­zen Objekt­in­ter­ak­ti­on durch bear­beit­ba­re Aus­ga­ben, die man bewe­gen und anpas­sen kann. Das Sys­tem pro­du­ziert ver­wend­ba­re Net­ze mit Texturen, die sau­be­re Kan­ten und Ober­flä­chen­de­tails bei­be­hal­ten. Zusam­men bil­den sie ein fle­xi­bles Sys­tem, das rea­le Sze­nen bewäl­tigt, in denen Per­so­nen und Gegen­stän­de neben­ein­an­der erscheinen.

Transformer-Architektur und Millionen-Maßstab-Trainings-Pipeline

Hin­ter der funk­tio­na­len Auf­spal­tung von SAM 3Ds dua­len Model­len liegt eine mäch­ti­ge tech­ni­sche Grund­la­ge, die auf moder­nen Kon­ver­tie­rungs­netz­wer­ken basiert. Meta inte­grier­te Trans­for­mer-Effi­zi­enz in jede Schicht und ermög­lich­te so die schnel­le Ver­ar­bei­tung von Bil­dern zu detail­lier­ten 3D-Net­zen. Das Sys­tem ver­wen­det intel­li­gen­te Kodie­rung, die Bil­der liest und For­men, Posen und Tex­tu­ren in Stu­fen vorhersagt.

Was die­sen Fort­schritt mög­lich macht, ist ska­lier­ba­res Trai­ning auf einem bei­spiel­lo­sen Niveau. Meta anno­tier­te fast eine Mil­li­on ver­schie­de­ne Bil­der und erstell­te über drei Mil­lio­nen 3D-Netz­mo­del­le zum Trai­nie­ren des Sys­tems. Mensch­li­che Prü­fer arbei­te­ten zusam­men mit auto­ma­ti­sier­ten Werk­zeu­gen und ver­fei­ner­ten die Qua­li­tät durch Rück­kopp­lungs­schlei­fen. Die­se Kom­bi­na­ti­on stell­te sicher, dass die Model­le lern­ten, schwie­ri­ge rea­le Sze­na­ri­en zu bewältigen—unübersichtliche Hin­ter­grün­de, selt­sa­me Win­kel, teil­wei­se ver­deck­te Objekte.

Der pro­gres­si­ve Trai­nings­an­satz baut Kom­ple­xi­tät schritt­wei­se auf, beginnt ein­fach und fügt mit der Zeit Details hin­zu. Das Sys­tem lie­fert Rekon­struk­tio­nen in Sekun­den unter Ver­wen­dung von Opti­mie­run­gen und macht es für Anwen­dun­gen geeig­net, die nahe­zu sofor­ti­ge Ergeb­nis­se erfordern.

Von einem einzelnen RGB-Bild zu editierbarem 3D-Netz

Die Magie pas­siert, wenn jemand ein Foto mit sei­nem Han­dy macht. SAM 3D ver­wan­delt die­ses gewöhn­li­che Bild in etwas, das man berüh­ren, dre­hen und im digi­ta­len Raum ver­än­dern kann. Das Sys­tem beginnt mit Bild­seg­men­tie­rung und iden­ti­fi­ziert Objek­te oder Per­so­nen in Ihrer Auf­nah­me. Jedes seg­men­tier­te Stück wird zu sei­ner eige­nen 3D-Krea­ti­on.

Kei­ne aus­ge­fal­le­ne Aus­rüs­tung nötig—nur ein nor­ma­les Foto. Die Tech­no­lo­gie behan­delt unor­dent­li­che Hin­ter­grün­de und ver­steck­te Tei­le auto­ma­tisch. Sie erhal­ten tat­säch­li­che Mesh-Datei­en, die für Mesh-Bear­bei­tung in Ihren bevor­zug­ten Tools bereit sind. Wol­len Sie Far­ben ändern ? Merk­ma­le umfor­men ? Ihre Krea­ti­on in einem vir­tu­el­len Raum plat­zie­ren ? Alles möglich.

Die­se Frei­heit erstreckt sich auf jeden, nicht nur auf Spe­zia­lis­ten. Laden Sie Ihr Bild hoch, und Momen­te spä­ter laden Sie ein funk­tio­nie­ren­des 3D-Modell her­un­ter. Per­fekt für den Auf­bau von AR-Erleb­nis­sen oder zur Pro­dukt­vi­sua­li­sie­rung ohne teu­re Scan-Aus­rüs­tung. Das Sys­tem pro­du­ziert tex­tu­rier­te Mes­hes, die sowohl Geo­me­trie als auch Aus­se­hen aus einem ein­zi­gen RGB-Bild erfassen.

Neuer Benchmark-Datensatz in Zusammenarbeit mit Künstlern erstellt

Der Auf­bau von etwas Inno­va­ti­vem erfor­dert mehr als cle­ve­ren Code. Meta arbei­te­te mit pro­fes­sio­nel­len Künst­lern zusam­men, um SA-3DAO zu schaf­fen, einen bahn­bre­chen­den Eva­lu­ie­rungs-Bench­mark. Die­se Betei­li­gung von Künst­lern gewähr­leis­tet Data­set-Rea­lis­mus, der unse­re phy­si­sche Welt wirk­lich wider­spie­gelt. Die Samm­lung umfasst fast 1 Mil­li­on Bil­der, die all­täg­li­che Gegen­stän­de wie Stüh­le, Werk­zeu­ge und Haus­halts­ge­rä­te zeigen.

Künst­ler hal­fen dabei, For­men, Tex­tu­ren und Lay­outs zu veri­fi­zie­ren. Sie bewer­te­ten meh­re­re Mesh-Optio­nen und tack­led her­aus­for­dern­de Bei­spie­le. Die­ser men­schen­zen­trier­te Ansatz geht über insze­nier­te Fotos und syn­the­ti­sche Assets hin­aus. Das Ergeb­nis ist eine robus­te Grund­la­ge, die die 3D-Rekon­struk­ti­ons­for­schung in Rich­tung ech­ten phy­si­schen Ver­ständ­nis­ses vor­an­treibt. SAM 3D Objects erreich­te eine 5:1 Gewinn­ra­te im Ver­gleich zu kon­kur­rie­ren­den Model­len in Wirksamkeitstests.

Öffentliche Veröffentlichung ermöglicht AR/VR- und Robotikentwicklung

Meta hat die Tür weit für SAM 3D geöff­net und gewährt Ent­wick­lern und For­schern vol­len Zugang zu Modell-Check­points und Infe­rence-Code. Jeder kann nun AR-Anwen­dun­gen erstel­len oder Robo­tik-Inno­va­ti­on mit die­sem mäch­ti­gen Werk­zeug vor­an­trei­ben. Ein web­ba­sier­ter Spiel­platz ermög­licht es Nut­zern, Fotos hoch­zu­la­den und zu beob­ach­ten, wie sie sich sofort in 3D-Model­le ver­wan­deln. APIs machen es ein­fach, die­se Tech­no­lo­gie in bestehen­de Pro­jek­te zu inte­grie­ren, von Vir­tu­al-Rea­li­ty-Erfah­run­gen bis hin zu Robo­ter-Visi­on-Sys­te­men. Die kom­mer­zi­el­le Lizenz umfasst sogar Metas para­me­tri­sches mensch­li­ches Modell und besei­tigt recht­li­che Hür­den für Unter­neh­men. Meta tes­tet SAM 3D auch für eine In Raum anzei­gen-Funk­ti­on auf Face­book Mar­ket­place, um Käu­fern zu hel­fen, Möbel und Deko­ra­ti­on in ihren eige­nen Räu­men vor­ab zu betrachten.

Haupt­merk­ma­le der öffent­li­chen Veröffentlichung :

• Open-Source-Code und Modell­ge­wich­te kos­ten­los verfügbar
• Web-Spiel­platz für sofor­ti­ges Tes­ten ohne tech­ni­sche Einrichtung
• Gebrauchs­fer­ti­ge APIs für naht­lo­se Inte­gra­ti­on von Drittanbietern
• Kom­mer­zi­el­le Lizen­zie­rung für Indus­trie­an­wen­dun­gen enthalten
• SA-3DAO-Bench­mark-Daten­satz zur Leistungsbewertung

Die­se Ver­öf­fent­li­chung legt aus­ge­klü­gel­te 3D-Rekon­struk­ti­on in jeder­manns Hän­de und demo­kra­ti­siert den Zugang zu Werk­zeu­gen, die einst gro­ßen For­schungs­la­bo­ren vor­be­hal­ten waren.

Quellenangabe

• https://skywork.ai/blog/ai-image/sam-3^d-ultimate-guide/
• https://www.socialsamosa.com/news‑2/meta-3^d-modeling-tools-marketplace-10791337
• https://ai.meta.com/sam3d/
• https://designzig.com/metas-foundational-sam-3^d-objects-model-transforms-2^d-photos-into-complete-3^d-models/amp/
• https://www.youtube.com/watch?v=B7PZuM55ayc
• https://designzig.com/metas-foundational-sam-3^d-objects-model-transforms-2^d-photos-into-complete-3^d-models/
• https://github.com/facebookresearch/sam-3^d-objects
• https://skywork.ai/skypage/en/ai-revolution-2^d-3^d-reconstruction/1991381904639614976
• https://about.fb.com/news/2025/11/new-sam-models-detect-objects-create-3^d-reconstructions/
• https://blockchain.news/ainews/meta-unveils-sam-3^d-state-of-the-art-ai-model-for-3^d-object-and-human-reconstruction-from-2^d-images