Weltmodelle sind KI-Systeme, die reale Umgebungen dreidimensional nachbilden und ihre Physik simulieren. Sie liefern Trainingsdaten für Roboter und virtuelle Produktdesigns. Im Interview mit Leonard Schmedding an der TU München erklärt Prof. Dr. Matthias Nießner, warum diese Technologie die nächste Ära der KI nach ChatGPT einläutet.
Nießner ist Mitgründer von Synthesia, einem Video-KI-Unicorn mit vier Milliarden Dollar Bewertung und über 500 Mitarbeitern. Mit seinem neuen Startup SpAItial baut er jetzt Spatial Foundation Models. Für Unternehmen öffnet das ein riesiges Feld neuer Anwendungen.
Was Weltmodelle von Sprachmodellen unterscheidet
Ein Sprachmodell nimmt Text und gibt Text zurück. Ein Bildmodell nimmt Text und liefert ein Bild. SpAItial geht einen Schritt weiter. Aus einem Text-Prompt entsteht eine komplette 3D-Welt.
Diese Welten sehen real aus und verhalten sich real. Nutzer interagieren mit der simulierten Physik. Das Ziel von Nießner ist radikal. Zwischen Simulation und Realität soll kein Unterschied mehr sichtbar sein.
Der Zeitpunkt ist bewusst gewählt. Nießner verortet SpAItial dort, wo ChatGPT vier Jahre vor dem Durchbruch stand. Die Technologie funktioniert fast, aber noch nicht ganz. Genau dieser Moment macht ein Startup spannend.
Warum Videos die Trainingsdaten für Weltmodelle liefern
Echte 3D-Daten sind knapp. Weltweit existieren nur rund 10 bis 20 Millionen Szenen. Dazu zählen Videospiele, Filme und Engineering-Modelle. Diese Menge reicht für Foundation Models nie aus.
Deshalb trainiert SpAItial auf Videos. Täglich landen Milliarden Clips auf Social Media. Aus vielen Blickwinkeln lassen sich 3D-Punkte triangulieren. So entstehen aus 2D-Videos konsistente 3D-Welten.
Das Prinzip folgt der KI-Regel Scale is everything. Je mehr Videos das Modell sieht, desto komplexere Zusammenhänge lernt es. Fällt ein Stift im Video, lernt das System die Schwerkraft. Solche Korrespondenzen über die Zeit liefern das physikalische Wissen.
Robotik als größter Markt: VLAs und der Sim-to-Real-Gap
Für Nießner ist Robotik der größte Markt überhaupt. Er ist zugleich der schwierigste und am weitesten entfernt. Reale Roboterdaten aufzunehmen ist teuer und langsam. Virtuelles Training in Simulationen senkt diese Kosten drastisch.
Hier trifft SpAItial auf die sogenannten VLAs. Ein Vision-Language-Action-Modell sagt die nächste Roboter-Bewegung voraus. SpAItial liefert dafür die Trainingsumgebung. Kunden beschreiben ihren Roboter, das Modell simuliert die passenden Daten.
Der größte Streitpunkt bleibt der Sim-to-Real-Gap. Synthetische Daten sind günstig, sehen aber oft nicht real genug aus. Nießners Antwort ist klar. Simulatoren sollen Physik aus Daten lernen, statt sie per Hand zu definieren.
Von CAD bis Architektur: die konkreten Anwendungen
Neben der Robotik liegt viel Wert im Bauwesen. Architekturbüros arbeiten heute oft nur mit 2D-Grundrissen. SpAItial erzeugt daraus automatisch begehbare 3D-Visualisierungen. Käufer sehen ein Haus, als wäre es schon gebaut.
Im CAD-Bereich zeigt sich der größte Hebel. Bei Autoherstellern ist das Design der teuerste Prozess. Virtuelles Design verkürzt Entwicklungszyklen von Monaten auf Wochen. Manche Hersteller bauen ihre Autos sogar noch aus Ton nach.
Genau diese teuren Schritte fallen virtuell weg. Teams simulieren Reflexionen und Materialien vorab. Erst danach entsteht das physische Produkt. Deutsche Ingenieure reagieren laut Nießner überraschend offen.
Cloud oder Edge: wo die KI-Modelle laufen
Das Training läuft heute komplett in der Cloud. Dort arbeiten Tausende GPUs über lange Zeiträume. Die Inferenz wandert dagegen zunehmend auf das Gerät. Nießner sieht die Zukunft klar beim Edge, also bei lokal laufender KI.
Der Grund ist die Latenz. Eine ständige Cloud-Anbindung bremst den Roboter aus. Techniken wie Quantisierung und Destillation schrumpfen die Modelle. Aus Float 16 wird Float 4, aus großen Modellen werden kleine.
Für Verbraucher bleibt das Angebot heute eine Demo. Über einen MCP-Server bindet Nießners Team SpAItial direkt an Claude Code an. Nutzer generieren so eigene 3D-Welten per Prompt. Der echte Markt liegt aber im B2B-Segment.
Fazit: Weltmodelle als nächste KI-Ära
Weltmodelle verschieben die KI von Text und Bild in den echten Raum. SpAItial positioniert sich als Datenlieferant für Roboter und Industrie. Universelle humanoide Roboter erwartet Nießner in fünf bis zehn Jahren. Erste Spezialroboter kommen schon in ein bis zwei Jahren.
Für Unternehmen lohnt der frühe Blick auf diese Technologie. Wer Prozesse jetzt virtuell testet, spart später echtes Kapital. Unser Team begleitet solche Schritte mit passenden KI-Automatisierungs-Konzepten. Weltmodelle sind kein fernes Versprechen mehr, sondern der nächste konkrete Schritt.
Häufige Fragen
Was sind Weltmodelle in der KI?
Weltmodelle sind KI-Systeme, die reale Umgebungen dreidimensional nachbilden. Sie simulieren nicht nur das Aussehen, sondern auch die Physik einer Szene. Nutzer bewegen sich durch diese Welten und interagieren mit Objekten. Das Ziel ist eine Simulation, die von der Realität kaum zu unterscheiden ist. Prof. Dr. Matthias Nießner nennt sie die nächste KI-Ära nach Sprach- und Bildmodellen.
Wie unterscheiden sich Weltmodelle von großen Sprachmodellen?
Ein großes Sprachmodell nimmt Text als Eingabe und liefert Text zurück. Ein Bildmodell erzeugt aus Text ein Bild. Weltmodelle gehen weiter und erzeugen aus einem Prompt eine komplette 3D-Welt. Der Output ist also nicht mehr flach, sondern räumlich und begehbar. Diese 3D-Welten verhalten sich physikalisch wie echte Umgebungen und lassen sich frei erkunden.
Wofür braucht die Robotik Weltmodelle?
Roboter brauchen riesige Mengen an Trainingsdaten, oft im Milliardenbereich. Diese Daten real aufzunehmen ist teuer, langsam und schwer skalierbar. Weltmodelle liefern die Trainingsumgebung virtuell und deutlich günstiger. In der Simulation lernen Vision-Language-Action-Modelle die nötigen Bewegungen. So trainiert die Branche Roboter-Intelligenz, ohne jeden Handgriff manuell aufzunehmen.
Was ist der Sim-to-Real-Gap?
Der Sim-to-Real-Gap beschreibt die Lücke zwischen Simulation und Wirklichkeit. Synthetische Trainingsdaten sind günstig, sehen aber oft nicht real genug aus. Deshalb übertragen sich in Simulation gelernte Fähigkeiten nur eingeschränkt auf echte Roboter. Nießners Lösung sind bessere Simulatoren, die Physik aus Daten lernen. Statt handgeschriebener Regeln zieht das System sein Wissen aus Millionen Videos.
Wann kommen universelle humanoide Roboter?
Prof. Dr. Matthias Nießner rechnet mit universellen humanoiden Robotern in fünf bis zehn Jahren. Erste spezialisierte Roboter erscheinen bereits in ein bis zwei Jahren. Diese übernehmen zunächst einzelne, klar abgegrenzte Aufgaben. Jede Hardware muss heute noch separat trainiert werden. Erst wenn Fähigkeiten über Roboter hinweg übertragbar werden, entsteht der echte Allzweck-Roboter.
Top comments (0)