Buat File Manifes Input Point Cloud Frame

Manifes adalah file yang dikodekan UTF -8 di mana setiap baris adalah objek yang lengkap dan valid. JSON Setiap baris dibatasi oleh jeda baris standar,\natau\ r\n. Karena setiap baris harus menjadi JSON objek yang valid, Anda tidak dapat memiliki karakter pemisah baris yang tidak lolos. Dalam file manifes input bingkai tunggal, setiap baris dalam manifes berisi data untuk bingkai awan titik tunggal. Data frame awan titik dapat disimpan dalam biner atau ASCII format (lihatFormat Data 3D Mentah yang Diterima). Ini adalah format file manifes yang diperlukan untuk deteksi objek cloud titik 3D dan segmentasi semantik. Secara opsional, Anda juga dapat menyediakan data fusi sensor kamera untuk setiap frame cloud titik.

Ground Truth mendukung fusi sensor point cloud dan kamera video dalam sistem koordinat dunia untuk semua modalitas. Jika Anda dapat memperoleh sensor 3D ekstrinsik (seperti DAR ekstrinsik Li), kami sarankan Anda mengubah bingkai awan titik 3D menjadi sistem koordinat dunia menggunakan ekstrinsik. Untuk informasi selengkapnya, lihat Sensor Fusion.

Namun, jika Anda tidak dapat memperoleh awan titik di sistem koordinat dunia, Anda dapat memberikan koordinat dalam sistem koordinat asli tempat data ditangkap. Jika Anda menyediakan data kamera untuk fusi sensor, disarankan agar Anda memberikan DAR sensor Li dan pose kamera di sistem koordinat dunia.

Untuk membuat file manifes input bingkai tunggal, Anda akan mengidentifikasi lokasi setiap frame cloud titik yang ingin diberi label oleh pekerja menggunakan source-ref kunci. Selain itu, Anda harus menggunakan source-ref-metadata kunci untuk mengidentifikasi format kumpulan data Anda, stempel waktu untuk bingkai itu, dan, secara opsional, data fusi sensor dan gambar kamera video.

Contoh berikut menunjukkan sintaks yang digunakan untuk file manifes masukan untuk pekerjaan pelabelan cloud titik bingkai tunggal. Contohnya mencakup dua titik cloud frame. Untuk detail tentang setiap parameter, lihat tabel berikut contoh ini.

penting

Setiap baris dalam file manifes masukan Anda harus dalam format JSONGaris. Blok kode berikut menunjukkan file manifes masukan dengan dua JSON objek. Setiap JSON objek digunakan untuk menunjuk dan memberikan rincian tentang bingkai awan titik tunggal. JSONObjek telah diperluas agar mudah dibaca, tetapi Anda harus meminimalkan setiap JSON objek agar sesuai dengan satu baris saat membuat file manifes masukan. Contoh disediakan di bawah blok kode ini.

{
    "source-ref": "s3://amzn-s3-demo-bucket/examplefolder/frame1.bin",
    "source-ref-metadata":{
        "format": "binary/xyzi",
        "unix-timestamp": 1566861644.759115,
        "ego-vehicle-pose":{
            "position": {
                "x": -2.7161461413869947,
                "y": 116.25822288149078,
                "z": 1.8348751887989483
            },
            "heading": {
                "qx": -0.02111296123795955,
                "qy": -0.006495469416730261,
                "qz": -0.008024565904865688,
                "qw": 0.9997181192298087
            }
        },
        "prefix": "s3://amzn-s3-demo-bucket/lidar_singleframe_dataset/someprefix/",
        "images": [
        {
            "image-path": "images/frame300.bin_camera0.jpg",
            "unix-timestamp": 1566861644.759115,
            "fx": 847.7962624528487,
            "fy": 850.0340893791985,
            "cx": 576.2129134707038,
            "cy": 317.2423573573745,
            "k1": 0,
            "k2": 0,
            "k3": 0,
            "k4": 0,
            "p1": 0,
            "p2": 0,
            "skew": 0,
            "position": {
                "x": -2.2722515189268138,
                "y": 116.86003310568965,
                "z": 1.454614668542299
            },
            "heading": {
                "qx": 0.7594754093069037,
                "qy": 0.02181790885672969,
                "qz": -0.02461725233103356,
                "qw": -0.6496916273040025
            },
            "camera-model": "pinhole"
        }]
    }
}
{
    "source-ref": "s3://amzn-s3-demo-bucket/examplefolder/frame2.bin",
    "source-ref-metadata":{
        "format": "binary/xyzi",
        "unix-timestamp": 1566861632.759133,
        "ego-vehicle-pose":{
            "position": {
                "x": -2.7161461413869947,
                "y": 116.25822288149078,
                "z": 1.8348751887989483
            },
            "heading": {
                "qx": -0.02111296123795955,
                "qy": -0.006495469416730261,
                "qz": -0.008024565904865688,
                "qw": 0.9997181192298087
            }
        },
        "prefix": "s3://amzn-s3-demo-bucket/lidar_singleframe_dataset/someprefix/",
        "images": [
        {
            "image-path": "images/frame300.bin_camera0.jpg",
            "unix-timestamp": 1566861644.759115,
            "fx": 847.7962624528487,
            "fy": 850.0340893791985,
            "cx": 576.2129134707038,
            "cy": 317.2423573573745,
            "k1": 0,
            "k2": 0,
            "k3": 0,
            "k4": 0,
            "p1": 0,
            "p2": 0,
            "skew": 0,
            "position": {
                "x": -2.2722515189268138,
                "y": 116.86003310568965,
                "z": 1.454614668542299
            },
            "heading": {
                "qx": 0.7594754093069037,
                "qy": 0.02181790885672969,
                "qz": -0.02461725233103356,
                "qw": -0.6496916273040025
            },
            "camera-model": "pinhole"
        }]
    }
}

Saat Anda membuat file manifes masukan, Anda harus menciutkan JSON objek agar sesuai dengan satu baris. Misalnya, blok kode di atas akan muncul sebagai berikut dalam file manifes masukan:

{"source-ref":"s3://amzn-s3-demo-bucket/examplefolder/frame1.bin","source-ref-metadata":{"format":"binary/xyzi","unix-timestamp":1566861644.759115,"ego-vehicle-pose":{"position":{"x":-2.7161461413869947,"y":116.25822288149078,"z":1.8348751887989483},"heading":{"qx":-0.02111296123795955,"qy":-0.006495469416730261,"qz":-0.008024565904865688,"qw":0.9997181192298087}},"prefix":"s3://amzn-s3-demo-bucket/lidar_singleframe_dataset/someprefix/","images":[{"image-path":"images/frame300.bin_camera0.jpg","unix-timestamp":1566861644.759115,"fx":847.7962624528487,"fy":850.0340893791985,"cx":576.2129134707038,"cy":317.2423573573745,"k1":0,"k2":0,"k3":0,"k4":0,"p1":0,"p2":0,"skew":0,"position":{"x":-2.2722515189268138,"y":116.86003310568965,"z":1.454614668542299},"heading":{"qx":0.7594754093069037,"qy":0.02181790885672969,"qz":-0.02461725233103356,"qw":-0.6496916273040025},"camera-model":"pinhole"}]}}
{"source-ref":"s3://amzn-s3-demo-bucket/examplefolder/frame2.bin","source-ref-metadata":{"format":"binary/xyzi","unix-timestamp":1566861632.759133,"ego-vehicle-pose":{"position":{"x":-2.7161461413869947,"y":116.25822288149078,"z":1.8348751887989483},"heading":{"qx":-0.02111296123795955,"qy":-0.006495469416730261,"qz":-0.008024565904865688,"qw":0.9997181192298087}},"prefix":"s3://amzn-s3-demo-bucket/lidar_singleframe_dataset/someprefix/","images":[{"image-path":"images/frame300.bin_camera0.jpg","unix-timestamp":1566861644.759115,"fx":847.7962624528487,"fy":850.0340893791985,"cx":576.2129134707038,"cy":317.2423573573745,"k1":0,"k2":0,"k3":0,"k4":0,"p1":0,"p2":0,"skew":0,"position":{"x":-2.2722515189268138,"y":116.86003310568965,"z":1.454614668542299},"heading":{"qx":0.7594754093069037,"qy":0.02181790885672969,"qz":-0.02461725233103356,"qw":-0.6496916273040025},"camera-model":"pinhole"}]}}

Tabel berikut menunjukkan parameter yang dapat Anda sertakan dalam file manifes masukan Anda:

Parameter	Diperlukan	Nilai yang Diterima	Deskripsi
source-ref	Ya	String Format nilai string yang diterima: s3://<bucket-name>/<folder-name>/point-cloud-frame-file	Lokasi Amazon S3 dari bingkai awan titik tunggal.
source-ref-metadata	Ya	JSONobjek Parameter yang diterima: format, unix-timestamp, ego-vehicle-pose, position, prefix, images	Gunakan parameter ini untuk menyertakan informasi tambahan tentang titik awan disource-ref, dan untuk menyediakan data kamera untuk fusi sensor.
format	Tidak	String Nilai string yang diterima:"binary/xyz","binary/xyzi","binary/xyzrgb","binary/xyzirgb","text/xyz","text/xyzi","text/xyzrgb", "text/xyzirgb" Nilai Default: Ketika file yang diidentifikasi source-ref memiliki ekstensi.bin, binary/xyzi Ketika file yang diidentifikasi source-ref memiliki ekstensi.txt, text/xyzi	Gunakan parameter ini untuk menentukan format data cloud titik Anda. Untuk informasi selengkapnya, lihat Format Data 3D Mentah yang Diterima.
unix-timestamp	Ya	Jumlah Stempel waktu unix.	Stempel waktu unix adalah jumlah detik sejak 1 Januari 1970 hingga UTC saat data dikumpulkan oleh sensor.
ego-vehicle-pose	Tidak	JSONobjek	Pose perangkat yang digunakan untuk mengumpulkan data titik cloud. Untuk informasi selengkapnya tentang parameter ini, lihatSertakan Informasi Pose Kendaraan dalam Manifes Input Anda.
prefix	Tidak	String Format nilai string yang diterima: s3://<bucket-name>/<folder-name>/	Lokasi di Amazon S3 tempat metadata Anda, seperti gambar kamera, disimpan untuk bingkai ini. Awalan harus diakhiri dengan garis miring:. /
images	Tidak	Daftar	Daftar parameter yang menggambarkan gambar kamera berwarna yang digunakan untuk fusi sensor. Anda dapat menyertakan hingga 8 gambar dalam daftar ini. Untuk informasi selengkapnya tentang parameter yang diperlukan untuk setiap gambar, lihatSertakan Data Kamera dalam Manifes Input Anda.

Sertakan Informasi Pose Kendaraan dalam Manifes Input Anda

Gunakan lokasi kendaraan ego untuk memberikan informasi tentang lokasi kendaraan yang digunakan untuk menangkap data titik cloud. Ground Truth menggunakan informasi ini untuk menghitung matriks DAR ekstrinsik Li.

Ground Truth menggunakan matriks ekstrinsik untuk memproyeksikan label ke dan dari adegan 3D dan gambar 2D. Untuk informasi selengkapnya, lihat Sensor Fusion.

Tabel berikut memberikan informasi lebih lanjut tentang parameter position dan orientasi (heading) yang diperlukan saat Anda memberikan informasi ego-kendaraan.

Parameter	Diperlukan	Nilai yang Diterima	Deskripsi
position	Ya	JSONobjek Parameter yang Diperlukan: x, y, dan z. Masukkan angka untuk parameter ini.	Vektor terjemahan kendaraan ego dalam sistem koordinat dunia.
heading	Ya	JSONObjek Parameter yang Diperlukan: qx, qy, qz, dan qw. Masukkan angka untuk parameter ini.	Orientasi kerangka acuan perangkat atau sensor yang dipasang pada kendaraan yang merasakan sekitarnya, diukur dalam kuaternion, (,, qx qyqz,qw) dalam sistem koordinat.

Sertakan Data Kamera dalam Manifes Input Anda

Jika Anda ingin menyertakan data kamera video dengan bingkai, gunakan parameter berikut untuk memberikan informasi tentang setiap gambar. Kolom Diperlukan di bawah ini berlaku ketika images parameter disertakan dalam file manifes masukan di bawahsource-ref-metadata. Anda tidak diharuskan untuk menyertakan gambar dalam file manifes masukan Anda.

Jika Anda menyertakan gambar kamera, Anda harus menyertakan informasi tentang kamera position dan heading menggunakan pengambilan gambar dalam sistem koordinat dunia.

Jika gambar Anda terdistorsi, Ground Truth dapat secara otomatis membatalkan distorsi mereka menggunakan informasi yang Anda berikan tentang gambar dalam file manifes input Anda, termasuk koefisien distorsi (,k1,,,,,p1) k2 k3 k4p1, model kamera dan matriks intrinsik kamera. Matriks intrinsik terdiri dari panjang fokus (fx,fy), dan titik utama (cx,. cy) Lihat Matriks Intrinsik untuk mempelajari bagaimana Ground Truth menggunakan kamera intrinsik. Jika koefisien distorsi tidak disertakan, Ground Truth tidak akan merusak gambar.

Parameter	Diperlukan	Nilai yang Diterima	Deskripsi
image-path	Ya	String Contoh format: <folder-name>/<imagefile.png>	Lokasi relatif, di Amazon S3 file gambar Anda. Jalur relatif ini akan ditambahkan ke jalur yang Anda tentukan. prefix
unix-timestamp	Ya	Jumlah	Stempel waktu unix adalah jumlah detik sejak 1 Januari 1970 hingga UTC saat data dikumpulkan oleh kamera.
camera-model	Tidak	Tali: Nilai yang Diterima: "pinhole", "fisheye" Default: "pinhole"	Model kamera yang digunakan untuk menangkap gambar. Informasi ini digunakan untuk mengubah gambar kamera.
fx, fy	Ya	Nomor	Panjang fokus kamera, dalam arah x (fx) dan y (fy).
cx, cy	Ya	Nomor	Koordinat x (cxcy) dan y () dari titik utama.
k1, k2, k3, k4	Tidak	Jumlah	Koefisien distorsi radial. Didukung untuk model kamera mata ikan dan lubang jarum.
p1, p2	Tidak	Jumlah	Koefisien distorsi tangensial. Didukung untuk model kamera lubang jarum.
skew	Tidak	Jumlah	Parameter untuk mengukur kemiringan gambar.
position	Ya	JSONobjek Parameter yang Diperlukan: x, y, dan z. Masukkan angka untuk parameter ini.	Lokasi atau asal kerangka acuan kamera yang dipasang pada kendaraan yang menangkap gambar.
heading	Ya	JSONObjek Parameter yang Diperlukan: qx, qy, qz, dan qw. Masukkan angka untuk parameter ini.	Orientasi kerangka acuan kamera yang dipasang pada kendaraan yang menangkap gambar, diukur menggunakan kuaternion, (,,,qw) qx qyqz, dalam sistem koordinat dunia.

Batas Bingkai Awan Titik

Anda dapat menyertakan hingga 100.000 titik cloud frame dalam file manifes masukan Anda. Pekerjaan pelabelan cloud titik 3D memiliki waktu pra-pemrosesan yang lebih lama daripada jenis tugas Ground Truth lainnya. Untuk informasi selengkapnya, lihat Waktu pra-pemrosesan pekerjaan.