LaGSplat: Latent Lagrangian Gaussian Splatting

À partir de vidéos d'un système dynamique, LaGSplat permet de créer une scène 2 ou 3D interactive vérifiant les équations de la physique.

Architecture LaGSplat : encodeur CNN, réseau lagrangien latent, décodeur Gaussian Splatting, et rappel de la force utilisateur dans l'espace latent par la jacobienne du décodeur — À partir des vidéos, la physique est apprise dans un espace latent de faible dimension : un encodeur CNN fixe les conditions initiales, l'équation d'Euler-Lagrange y est intégrée, puis un décodeur GS reconstruit les images. Un effort extérieur peut être appliqué à tout moment, en tout point de la scène.

experiment 1 · synthetic

Gaussians parameterised by the latent state

Damping ζ 0.43

Density · gaussians / half-swing 10

Amplitude 100°

input

Filmed video

planar simple damped pendulum

current frame

4DGS · parameterised by t

Space-time volume

axes (x, y, t): the plane always moves to the right

drag to rotate

- Gaussians tiling
the space-time volume

LaGSplat · parameterised by q

Space-state volume

axes (x, y, q), q = angle θ: a helical manifold, the plane swings

drag to rotate

- Gaussians tiling
the space-state volume

experiment 2 · real test case

One-degree-of-freedom test case: an oscillating rocking chair

State q -

Damping γ -

background

LaGSplat · learned gaussians

Space-state volume

axes (x, y, q): 2048 gaussians, the plane is the current state

drag to rotate

reconstruction from q

Reconstructed frame

model's RGB output, sliced at q = current

grab & drag the object

Grab the object: dragging applies a force, mapped through the decoder into the latent space and added to the LNN equation.

Damping γ -

Amplitude -

training video over

original video · one fixed camera

Vue de référence (caméra réelle) — reference view (outlined) + synthesised novel views

Vue nouvelle synthétisée, caméra virtuelle — reference view (outlined) + synthesised novel views

LaGSplat · 3D reconstruction

Interactive 3D scene

click the object to push it, click again to release · drag to rotate · scroll to zoom

↗ Full screen

experiment 3 · real test case

Two-degree-of-freedom test case: a bag hanging from its handle

Speed ×1.0

Dissipation -

LaGSplat · latent state

Trajectory in the latent space

axes (q₁, q₂): the 2-D state of the dynamical system; faint curve = trajectory in the training videos

drag the dot

See how the dynamical system evolves by sweeping the plane with drag & drop.

reconstruction from q

Reconstructed frame

model's RGB output, sliced at (q₁, q₂) = current

grab & drag the object

Grab the object: dragging applies a force, mapped through the decoder into the latent space and added to the LNN equation.