View a markdown version of this page

Trainiere 3D Gaussian Splatting anhand eines Videos auf Deadline Cloud - Deadline Cloud

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Trainiere 3D Gaussian Splatting anhand eines Videos auf Deadline Cloud

Das gsplat_pipeline-Jobpaket auf der GitHub Website führt eine 3D-Gaussian Splatting-Pipeline aus. Das Paket verwendet eine Videodatei als Eingabe und erzeugt eine Gaussian Splatting-Datei als Ausgabe. .ply Nachdem Sie die Ausgabe heruntergeladen haben, können Sie sie in jedem Gaussian Splatting-Viewer ansehen, z. B. auf der Website. SuperSplat GitHub

Die Pipeline führt eine einzelne Aufgabe aus, die die folgenden Schritte ausführt:

  1. Extrahiert Videobilder mit FFmpeg auf der FFmpeg-Website.

  2. Wird Structure-from-Motion mit COLMAP auf der COLMAP-Website und GLOMAP auf der Website gelöst, wobei das Lochmodell und die GitHub unverzerrten Bilder gespeichert werden.

  3. Trainiert Gaussian Splatting mit einem von drei Trainern: NerF Studio Splatfacto auf der Nerfstudio-Website, Splatfacto in the Wild auf der Nerfstudio-Website oder das Beispiel für die gsplat-Bibliothek simple_trainer.py auf der gsplat-Website. https://docs.gsplat.studio/main/examples/colmap.html Die Ausgabe wird in der von Ihnen angegebenen Datei gespeichert. .ply

Um dieses Paket auszuführen, stellen Sie die CloudFormation CUDA-Farmvorlage auf der GitHub Website bereit, um eine Deadline Cloud-Farm mit einer CUDA-GPU-Flotte zu erstellen. Erstellen Sie dann das Nerf Studio-Conda-Paket auf der GitHub Website und veröffentlichen Sie es auf Ihrem S3-Conda-Kanal.

Wenn Sie nur den Standardtrainer NERFSTUDIO (Splatfacto) benötigen, benötigen Sie weder die CUDA-Farmvorlage noch das benutzerdefinierte Nerf Studio-Conda-Paket. Die Mindestanforderungen sind eine Deadline Cloud-Farm mit einer GPU-Flotte, eine Warteschlangenumgebung, die Folgendes beinhaltetconda-forge, und die folgenden Conda-Pakete:. ffmpeg colmap glomap nerfstudio cuda

Folgen Sie diesen Tipps, um ein brauchbares Video aufzunehmen:

  • Verwenden Sie ein weites Sichtfeld, sodass mehr Objekte in den Bildpaaren zur Verwendung Structure-from-Motion zur Verfügung stehen.

  • Schalten Sie die Videostabilisierung aus, um die gleiche Linsenoptik zwischen den Einzelbildern beizubehalten.

  • Nehmen Sie mit langsamer und gleichmäßiger Bewegung auf. Bewegen Sie die Kamera weiter und vermeiden Sie es, an einer einzigen Stelle anzuhalten und zu schwenken.

Senden Sie den Job aus dem job_bundles Verzeichnis des Proben-Repositorys ab:

deadline bundle gui-submit gsplat_pipeline

Wählen Sie auf der Registerkarte „Job-specific Einstellungen“ die Pfade sowohl für die Eingabevideodatei als auch für die .ply Ausgabedatei aus.

Eine vollständige Anleitung, die das Aufnehmen eines Videos, das Senden und Überwachen des Jobs sowie das Anzeigen des trainierten Ergebnisses behandelt, finden Sie unterTrainiere 3D Gaussian Splatting aus deinem eigenen Video.