World model W01
World model: obiettivi, forma dei dati e metodi di training
Una mappa di ricerca per capire cos'è un world model, perché non esiste un'unica architettura canonica e in che modo obiettivo, dati, rappresentazione e ciclo di training determinano ciò che il modello può davvero fare.
1 · Il nucleo comune
In un ambiente parzialmente osservato il modello comprime prima la storia in uno stato interno, o belief, (z_t). Poi predice come cambia quello stato sotto un'azione. Le teste per osservazione, reward e continuazione sono opzionali:
$$z_t = E(o_{\le t}, a_{<t}), \qquad \hat z_{t+1} \sim P_\theta(z_{t+1}\mid z_t,a_t)$$ $$\hat o_{t+1}=D(\hat z_{t+1}), \qquad \hat r_t=R(z_t,a_t), \qquad \hat d_t=C(z_t,a_t)$$Il significato stretto, agentico, richiede controfattuali condizionati dall'azione: cosa succede se faccio questo? Il significato generativo più ampio include anche predittori video senza azioni. Questi possono apprendere movimento e regolarità, ma non diventano modelli affidabili di intervento finché le azioni non vengono osservate, inferite come variabili latenti o aggiunte nel post-training.
2 · Quattro famiglie principali di obiettivi
| Obiettivo | Target | Cosa offre | Failure mode principale |
|---|---|---|---|
| Predizione generativa dell'osservazione | pixel futuri, valori dei sensori o token visuali | rollout ispezionabili e ambienti sintetici | capacità spesa su dettagli irrilevanti; un video plausibile può avere una fisica sbagliata |
| Predizione latente o di feature | embedding futuri appresi | rappresentazioni efficienti e semantiche senza decodificare ogni pixel | la rappresentazione può perdere informazioni necessarie a un task successivo |
| Predizione di stato strutturato | oggetti, pose, profondità, occupancy, geometria, variabili fisiche | interpretabilità, composizionalità e vincoli espliciti | richiede supervisione o assunzioni architetturali sul mondo |
| Predizione di task o controllo | reward, valore, policy, terminazione, rischio, stati latenti rilevanti | apprende solo le distinzioni che servono alle decisioni | eccellente per una funzione di utilità ma incompleto per un'altra |
| Ibrido | più target tra quelli sopra | bilancia fedeltà, astrazione e controllo | il peso delle loss e la loro interferenza diventano parte del problema di ricerca |
Un modello generativo minimizza spesso la negative log-likelihood; un modello di feature predice un embedding target con gradiente fermato; un modello task-aware predice quantità decisionali:
$$\mathcal L_{\mathrm{gen}}=-\log p_\theta(o_{t+1:t+H}\mid o_{\le t},a_{t:t+H-1})$$ $$\mathcal L_{\mathrm{latent}}=d\!\left(F(z_t,a_t),\operatorname{sg}(E(o_{t+1}))\right)$$ $$\mathcal L_{\mathrm{task}}=\mathcal L_r+\mathcal L_v+\mathcal L_\pi$$MuZero è l'esempio più netto della terza equazione: predice reward, policy e valore senza ricostruire le osservazioni. I sistemi della famiglia Dreamer sono state-space model latenti ibridi. V-JEPA predice feature invece di pixel. GAIA-1 e GameNGen enfatizzano futuri generativi ad alta fedeltà.
3 · Com'è fatto davvero il dataset
La struttura temporale del dataset determina quali dinamiche possono essere identificate. Una raccolta di immagini rimescolate contiene aspetto ma nessuna evidenza di transizione; un video passivo contiene transizioni ma non necessariamente l'effetto causale delle azioni.
A · Transizioni individuali
(osservazione_t, azione_t, reward_t, osservazione_t+1, terminale_t)Sono sufficienti quando l'osservazione è approssimativamente markoviana. Se uno stato rilevante è nascosto, le transizioni isolate cancellano la storia necessaria per inferirlo.
B · Finestre di traiettoria a lunghezza fissa
osservazioni [B, T+1, C, H, W]
azioni [B, T, A]
reward [B, T, 1]
terminali [B, T, 1]
mask [B, T, 1]È il minibatch standard per state-space model ricorrenti basati su immagini e transformer temporali.
Le osservazioni vettoriali sostituiscono C,H,W con D; gli stream multi-camera
aggiungono spesso una dimensione vista V.
C · Episodi completi
Le traiettorie complete conservano return, dipendenze lunghe, fallimenti rari e completamento del goal. Il training di solito campiona finestre più brevi mantenendo confini degli episodi e timestamp.
D · Video passivo
video [B, T, C, H, W]
azioni assenti
reward assentiÈ abbondante e utile per il pretraining visuale, ma gli effetti delle azioni sono confusi con il movimento della camera e il comportamento di persone o altri agenti. Genie apprende uno spazio di azioni latente dal video; V-JEPA 2 esegue invece pretraining senza azioni e aggiunge poi il condizionamento con un dataset robotico più piccolo.
E · Stream embodied multimodali
RGB + profondità + propriocezione + forza + audio
+ linguaggio + mappe + azioni + rewardQuesti stream possono avere frequenze di campionamento diverse e modalità mancanti. Allineamento, timestamp, mask di modalità e calibrazione dei sensori diventano parte del modello dati, non semplice preprocessing.
4 · Metodologie di training
| Metodo | Meccanismo | Quando è adatto |
|---|---|---|
| Teacher forcing one-step | predice (t+1) dalla storia vera | baseline stabile; corrisponde poco al deployment open-loop lungo |
| Rollout multi-step o overshooting | srotola la dinamica appresa per (H) step e penalizza la deriva | planning e predizione lunga; limita l'accumulo degli errori |
| Training variazionale state-space | apprende un prior di transizione e un posterior condizionato dall'osservazione con loss di predizione e KL | osservabilità parziale e futuri multimodali |
| Modellazione autoregressiva di token | tokenizza le modalità e ottimizza la cross-entropy del token successivo | grandi dataset eterogenei e generazione scalabile |
| Diffusion o flow modeling | denoising di un'osservazione o traiettoria futura condizionato da storia e azioni | simulazione dettagliata e multimodale; di solito costosa dentro un planner |
| Predizione joint-embedding | predice feature target mascherate o future, senza ricostruzione dei pixel | representation learning e planning latente efficiente |
| Apprendimento online alternato | raccoglie esperienza → aggiorna il modello → migliora il comportamento in immaginazione → raccoglie di nuovo | model-based reinforcement learning e copertura attiva |
| Pretraining offline + post-training sulle azioni | apprende regolarità visuali dal video ampio, poi aggiunge controllabilità con pochi dati interattivi | robotica e foundation model per physical AI |
Training e utilizzo devono corrispondere. L'accuratezza one-step non dimostra che il modello rimanga coerente su un orizzonte di planning. Allo stesso modo, una bassa loss di ricostruzione video non dimostra che le azioni controfattuali siano corrette.
5 · Abbina il design all'obiettivo
- Obiettivo
- Predizione di feature latenti mascherate o future
- Dati
- Grande corpus di video passivo; label opzionali
- Training
- Predizione joint-embedding con masking temporale
- Uso e valutazione
- Encoder frozen/fine-tuned; probe, transfer, anticipazione
6 · Come un world model appreso diventa utile
- Model-predictive control (MPC): campiona sequenze di azioni candidate, le simula, esegue la prima azione della migliore, osserva di nuovo e ripianifica.
- Tree search: espande rami controfattuali usando predizioni di reward, policy e valore, come in MuZero.
- Actor–critic immaginato: addestra policy e value network su rollout latenti, come in Dreamer.
- Generazione di dati sintetici: crea scenari controllabili per un altro modello di percezione o policy.
- Representation learning: congela o mette a punto l'encoder per task downstream.
7 · Valutazione e trappole di ricerca
| Se il claim è… | Valuta… | Non affidarti solo a… |
|---|---|---|
| forecast accurato | likelihood held-out, incertezza calibrata, errore rispetto all'orizzonte di rollout | similarità dei pixel one-step |
| dinamica causale o controllabile | interventi sulle azioni e risultati controfattuali | plausibilità di video passivo |
| planning utile | successo nell'ambiente reale, return, sicurezza e sample efficiency | metriche di ricostruzione |
| rappresentazione generale | transfer tra task, scene, embodiment e goal | performance sulla sola utilità di training |
| simulazione realistica | coerenza temporale, geometria, fisica delle interazioni, diversità, giudizio esperto | clip brevi selezionate |
La distinzione centrale è plausibilità contro correttezza. Un futuro generato può sembrare convincente mentre viola dinamiche di contatto, geometria o leggi di conservazione. La predizione da osservazioni non è inoltre automaticamente causale: un modello di intervento utile richiede variazione nelle azioni, assunzioni o un processo sperimentale di raccolta dati.
8 · Paper primari consultati
Consultati per questa mappa di ricerca il 16 luglio 2026. I link puntano ai paper primari degli autori, non a riassunti secondari.
| Anno | Paper | Perché è nella mappa |
|---|---|---|
| 2018 | World Models — Ha & Schmidhuber | encoder visuale, dinamica ricorrente e controller addestrato su rollout immaginati |
| 2019 | Learning Latent Dynamics for Planning from Pixels (PlaNet) — Hafner et al. | dinamica latente deterministica più stocastica, overshooting e MPC latente |
| 2020 | Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model (MuZero) — Schrittwieser et al. | dinamica task-equivalent che predice reward, policy e valore senza ricostruire osservazioni |
| 2023 | Mastering Diverse Domains through World Models (DreamerV3) — Hafner et al. | state-space modeling ricorrente ibrido e actor–critic su immaginazione latente |
| 2024 | TD-MPC2: Scalable, Robust World Models for Continuous Control — Hansen, Su & Wang | world modeling implicito senza decoder e ottimizzazione di traiettorie latenti |
| 2024 | Revisiting Feature Prediction for Learning Visual Representations from Video (V-JEPA) — Bardes et al. | predizione self-supervised di feature senza pixel, testo, esempi negativi o encoder preaddestrati |
| 2024 | Genie: Generative Interactive Environments — Bruce et al. | video Internet senza label, token video discreti, dinamica autoregressiva e azioni latenti apprese |
| 2023 | GAIA-1: A Generative World Model for Autonomous Driving — Hu et al. | modellazione multimodale di token video, testo e azioni per scenari di guida controllabili |
| 2025 | Diffusion Models Are Real-Time Game Engines (GameNGen) — Valevski et al. | raccolta dati con agente in due fasi e generazione diffusion di frame condizionata dalle azioni |
| 2025 | Cosmos World Foundation Model Platform for Physical AI — Agarwal et al. | curation video, tokenizer, foundation model preaddestrati e post-training downstream |
| 2025 | V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning — Assran et al. | grande pretraining video senza azioni, seguito da poco post-training robotico action-conditioned e MPC |