Quaderno

Rappresentazioni 3D, da Zwicker al Gaussian Splatting

Appunti interattivi per capire (e ricordare) come funziona il 3DGS: ogni lezione ha le figure manipolabili — muovi gli slider, trascina le cose, addestra un modello nel browser.

Come si usa — servi la cartella su HTTP (le demo usano moduli ES da CDN): python -m http.server 8010 dalla root, poi apri http://localhost:8010/. Serve una connessione internet (Three.js e KaTeX arrivano da CDN).

Lezioni

00 Prerequisiti: autovettori, autovalori, jacobiano Le immagini mentali prima della matematica: binari e treni, mattarelli, mappe locali, e il determinante come fattore d'area.
01 La primitiva: la gaussiana anisotropa 3D μ, Σ = R·S·Sᵀ·Rᵀ, opacità, armoniche sferiche — gioca con i 59 gradi di libertà.
02 Splatting «tradizionale»: kernel, non parametri QSplat / EWA surface splatting: la gaussiana come filtro di ricostruzione. Punti-con-buchi vs splat.
03 Il forward pass: compositing volumetrico Trasmittanza lungo un raggio, la stessa equazione di NeRF, vista lagrangiana vs euleriana.
04 Il training: la scena è il modello Analysis-by-synthesis: addestra 2D gaussian splatting in diretta nel browser, con densificazione.
05 La proiezione EWA: Σ′ = J·W·Σ·Wᵀ·Jᵀ (in arrivo) perché una gaussiana resta ~gaussiana sullo schermo.
06 Compressione e streaming: SPZ, SOG, LoD (in arrivo) quantizzare una mixture; il coarse-to-fine di Spark 2.0.

Esperimenti

Il diario di bordo della ricerca: cosa abbiamo provato sui nostri dati, quali decisioni abbiamo preso e quali strade abbiamo abbandonato (e perché). È il complemento empirico delle lezioni — e la memoria comune per fare ricerca insieme: prima di ripetere un tentativo, si controlla qui.

E001 3DGS fotorealistico dai nostri dati: quanto, dove, e perché no PSNR 28.7 lungo il percorso di cattura, collasso a 20 cm fuori; il recupero delle intrinsics; la serie depth-regularized (E2/E3) e l'autogol di scale_reg.

3D Graphics

Fuori dal filone splatting: grafica «classica» in tempo reale, come strumento per vedere la pipeline di rendering. Scene interattive in Three.js dove non conta solo il risultato, ma come la GPU ci arriva — aprendo il G-buffer e i suoi passaggi.

G01 Una stanza chiusa, e l'ispettore del G-buffer Ambiente chiuso con tre finestre, cubo/piramide/sfera e flying-camera (WASD + mouse); sopra, un deferred renderer con G-buffer MRT reale e un pannello per attraversare gli 11 step della pipeline — con divisore a maschera per confrontare ogni step con la Beauty.

Demo

La scena 3DGS migliore finora, esplorabile nel browser: gli asset arrivano da S3, il viewer (Spark + three.js) gira interamente in pagina.

▶ test-gta-demo-1 — video, input, nuvola e 3DGS allineati Una sola timeline: il video di gioco, gli input registrati, la nuvola di punti e la scena E2 (PSNR 28.63, 1.88M gaussiane) sincronizzati frame per frame — camera agganciata alla registrazione o navigazione libera.

Perché questo quaderno

Nasce dal lavoro su 3d-viewer (Potree, flat renderer, e il test 3DGS sulla box GPU): i concetti servono davvero per decidere come renderizzare e streammare le nostre ricostruzioni. La tesi che lega tutte le lezioni:

Tesi — nel gaussian splatting tradizionale la gaussiana è un filtro di ricostruzione applicato a geometria misurata; nel 3DGS è un parametro latente di un modello generativo dell'immagine, stimato per discesa del gradiente attraverso un renderer differenziabile. Stessa primitiva, due epistemologie: forward rendering vs problema inverso.

Cartella manim/: scene script per generare versioni video delle animazioni (istruzioni nel README della cartella).