Collaborazioni di ricerca RC01 · 16 luglio 2026

Michele Zhu: dal video semantico a un codec di traiettorie

Brief per una potenziale collaborazione: la comunicazione semantica può diventare un formato stratificato video + azioni che preservi migliori evidenze di training per byte trasmesso per world model condizionati dalle azioni?

Stato della relazione — ipotesi da colloquio, non collaborazione attiva. Questa nota registra l'allineamento tecnico da verificare nella conversazione e l'esperimento che potrebbe trasformare l'ipotesi in evidenza.

1 · Il verdetto breve

La direzione è coerente; i sistemi dimostrati sono adiacenti, non equivalenti. Zhu ha lavorato su stato video compatto e appreso, trade-off rate–distortion, conoscenza semantica condivisa e trasmissione consapevole degli errori. Sono fondamenta utili per un codec dell'esperienza. Nessuno dei due lavori, però, trasporta azioni causali o verifica se l'evidenza compressa addestra un world model migliore.

Allineamento fortecompressione semantica · stato di moto compatto · encoder/decoder appreso · trasmissione adattiva

Allineamento utilequantizzazione · codifica di sorgente · correzione temporale degli errori · assunzioni su modelli condivisi

Non ancora dimostratodinamiche condizionate dalle azioni · scene open-world · conservazione di eventi rari · training del modello a valle

Questione sistemistica separatasintassi stabile del bitstream · accesso casuale · versionamento del modello · hardware e latenza

2 · Cosa dimostrano davvero i due lavori

Lavoro	Meccanismo dimostrato	Perché si collega	Confine
Semantic Communication for Video Conferencing (tesi, 2023)	Un'immagine sorgente condivisa più rotazione, traslazione e deformazione dell'espressione per frame su 15 keypoint 3D appresi; quantizzazione, codifica Huffman e correzione semantica temporale.	Invia uno stato di ancoraggio seguito da cambi di stato compatti, invece di codificare ripetutamente i pixel.	Volti parlanti VoxCeleb 256×256; il moto è inferito dal video; immagine sorgente, decoder neurale e codebook sono assunzioni condivise.
Semantic Communications via Features Identification (ICC 2025)	Un teacher invia pacchetti posizione/valore di feature finché un apprentice identifica una classe semantica sopra una soglia di confidenza.	Introduce trasmissione progressiva consapevole del ricevitore e la distinzione utile tra struttura apprendibile e informazione residua memorizzabile.	L'esperimento è classificazione Imagenette da feature ResNet-50: niente ricostruzione video, dinamiche temporali, azioni o separazione learnable/memorizable implementata.

La tesi riporta il codebook selezionato a 0,00345 bit per pixel—circa 226 bit per frame 256×256—e approssimativamente 7× meno bit del confronto H.264 CRF 36 a LPIPS simile. Il paper del 2025 riporta circa l'80% di identificazione delle classi con il 18% dei bit delle feature, oppure circa il 90% con il 45–50%. Sono risultati rate–distortion promettenti nel dominio di prova, non risultati end-to-end sui dati per world model.

Confine di attribuzione — la tesi adotta l'architettura talking-head appresa con keypoint 3D dal sistema CVPR 2021 di Wang, Mallya & Liu. Il contributo aggiunto più netto è la codifica di sorgente Huffman quantizzata e l'analisi della correzione semantica degli errori.

3 · Il ponte verso il nostro problema dati

Evidenza di ancoraggioosservazione chiave, calibrazione, contesto della scena

→

Stato semanticotoken visivi o geometrici compatti

Azioni esattecontrolli timestampati in uno spazio di azione dichiarato

Residuo nuovoevidenza che la rappresentazione corrente non sa spiegare

→

Trainer / decoderconsuma direttamente i token o ricostruisce una vista verificabile

L'idea condivisa più forte non è «sostituire il video con la semantica». È la separazione ibrida:

La struttura prevedibile può essere rappresentata in modo compatto e trasmessa progressivamente.
Le azioni costano poco ma sono causalmente essenziali, quindi restano esatte e allineate allo stesso clock.
I residui imprevedibili ricevono più byte perché la novità è evidenza preziosa per il training.

Il paper del 2025 chiama il primo e il terzo flusso learnable e memorizable, ma identifica anche la loro separazione affidabile come problema aperto. Per noi quel confine è il problema di ricerca centrale: il codec deve sapere cosa non è sicuro scartare.

4 · Dove il collegamento si interrompe

Obiettivo corrente	Requisito del world model	Cambiamento necessario
Ricostruzione percettivamente plausibile	Transizioni di stato fedeli all'evidenza	Misurare sufficienza predittiva e per il controllo, non solo LPIPS.
Moto stimato dal frame risultante	L'intervento che ha causato lo stato successivo	Registrare `(o_t, a_t, o_t+1)` su un solo clock; non sostituire `a_t` con il moto ottico.
Volti in dominio chiuso o dieci classi di immagini	Oggetti, fisica, occlusioni, UI e guasti rari open-world	Usare un residuo stratificato o una via di fuga raw quando la confidenza semantica è bassa.
Decoder e base semantica condivisi e fissi	Dataset che sopravvivono al modello di oggi	Versionare schema, encoder, decoder, calibrazione e provenienza; conservare evidenza per la migrazione.
Gli errori possono essere smussati in moto plausibile	I dati di training non devono inventare eventi in silenzio	Esporre maschere di incertezza e corruzione; non trattare mai il riempimento generato come evidenza misurata.

Distinzione non negoziabile — il moto non è un'azione. La posa della testa o il flusso ottico dicono cosa è cambiato nell'osservazione. Lo stato del controller, il delta del mouse, un comando robotico o un evento API del gioco dicono quale intervento ha preceduto il cambiamento. Solo il secondo caso supporta controfattuali causali.

5 · Un possibile chunk di traiettoria

trajectory_chunk {
  schema_version, semantic_model_id
  t0, clock_domain, sensor_calibration
  anchor_observation
  actions[]          // timestamp, id dello spazio di azione, valore esatto
  semantic_tokens[]  // rappresentazione compatta di stato / moto
  residuals[]        // evidenza misurata nuova o a bassa confidenza
  uncertainty_mask, corruption_mask
  provenance, checksums
}

Questo è un formato dell'esperienza composto e versionato prima di essere un nuovo codec. Si guadagna la parola codec solo quando sintassi del bitstream, comportamento del decoder, accesso casuale, contenimento degli errori e contratto di compatibilità sono stabili. All'inizio il livello di evidenza a pixel può usare AV1, mentre la ricerca si concentra su token semantici, allocazione alla novità e sincronizzazione esatta delle azioni.

6 · L'esperimento che decide la collaborazione

Raccogliere una sola volta le stesse traiettorie etichettate con le azioni, poi impacchettarle in tre modi con lo stesso budget totale di byte:

A · Baseline convenzionale: video AV1 più sidecar lossless delle azioni.
B · Solo semantica: token di stato appresi più azioni, senza via di fuga residua.
C · Proposta stratificata: osservazioni di ancoraggio/chiave, stato appreso, azioni esatte e residui attivati dalla novità.

Addestrare lo stesso piccolo predittore condizionato dalle azioni su ogni pacchetto. Confrontare predizione dello stato successivo, coerenza su rollout lunghi, controllo a valle, recall degli eventi rari, trasferimento out-of-distribution e prestazioni dopo un upgrade del modello semantico. C vince solo se migliora la prestazione utile del world model per byte memorizzato o trasmesso senza la perdita attesa di evidenze rare di B.

7 · Agenda del colloquio

Come riprogetteresti la tua rappresentazione per traiettorie (video, azione) invece del moto facciale inferito?
Quale funzione di distorsione sostituisce LPIPS quando il consumatore è un world model futuro?
Come impedisci al decoder generativo di cancellare eventi rari o aggiungere evidenza falsa?
Il world model dovrebbe consumare direttamente i token trasmessi o i pixel ricostruiti? Qual è il percorso di migrazione?
Come negoziano sender e receiver le versioni della base semantica e del decoder?
I rate riportati includono immagini sorgente, distribuzione di modello/codebook, header e costo dell'accesso casuale?
Quale prototipo di sei settimane potrebbe falsificare l'ipotesi del codec stratificato?

Segnale positivo — una risposta forte dovrebbe rifiutare la qualità percettiva come unico obiettivo, conservare le azioni esattamente, introdurre una via di fuga residua misurata e proporre una valutazione a valle a parità di byte. Trattare una ricostruzione GAN plausibile come ground truth sarebbe il segnale d'allarme centrale.

Fonti primarie: tesi magistrale di Zhu, 2023 · Mariani, Zhu & Magarini, ICC 2025 · Wang, Mallya & Liu, CVPR 2021.