Memuat data ke dalam database - Amazon Redshift

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memuat data ke dalam database

Anda dapat menggunakan editor kueri v2 untuk memuat data ke dalam database di klaster atau grup kerja Amazon Redshift.

Memuat data sampel

Editor kueri v2 dilengkapi dengan data sampel dan buku catatan yang tersedia untuk dimuat ke dalam database sampel dan skema yang sesuai.

Untuk memuat data sampel, pilih External ikon yang terkait dengan data sampel yang ingin Anda muat. Editor kueri v2 kemudian memuat data ke dalam skema dalam database sample_data_dev dan membuat folder buku catatan yang disimpan di folder Notebook Anda.

Kumpulan data sampel berikut tersedia.

tickit

Sebagian besar contoh dalam dokumentasi Amazon Redshift menggunakan data sampel yang disebut. tickit Data ini terdiri dari tujuh tabel: dua tabel fakta dan lima dimensi. Saat Anda memuat data ini, skema tickit diperbarui dengan data sampel. Untuk informasi selengkapnya tentang tickit data, lihat Contoh database di Panduan Pengembang Database Amazon Redshift.

tpch

Data ini digunakan untuk tolok ukur dukungan keputusan. Saat Anda memuat data ini, skema tpch diperbarui dengan data sampel. Untuk informasi lebih lanjut tentang tpch data, lihat TPC-H.

tpcds

Data ini digunakan untuk tolok ukur dukungan keputusan. Saat Anda memuat data ini, skema tpcds diperbarui dengan data sampel. Untuk informasi lebih lanjut tentang tpcds data, lihat TPC-DS.

Memuat data dari Amazon S3

Anda dapat memuat data Amazon S3 ke tabel yang sudah ada atau yang baru.

Untuk memuat data ke dalam tabel yang ada

Perintah COPY digunakan oleh editor kueri v2 untuk memuat data dari Amazon S3. Perintah COPY yang dihasilkan dan digunakan dalam wizard memuat data editor kueri v2 mendukung banyak parameter yang tersedia untuk sintaks perintah COPY untuk disalin dari Amazon S3. Untuk informasi tentang perintah COPY dan opsinya yang digunakan untuk memuat data dari Amazon S3, lihat COPY dari Amazon Simple Storage Service di Panduan Pengembang Database Amazon Redshift.

  1. Konfirmasikan bahwa tabel sudah dibuat di database tempat Anda ingin memuat data.

  2. Konfirmasikan bahwa Anda terhubung ke database target di panel tampilan pohon editor kueri v2 sebelum melanjutkan. Anda dapat membuat koneksi menggunakan menu konteks (klik kanan) ke cluster atau workgroup tempat data akan dimuat.

    Pilih Load Muat data.

  3. Untuk sumber Data, pilih Muat dari bucket S3.

  4. Di URI S3, pilih Browse S3 untuk mencari bucket Amazon S3 yang berisi data yang akan dimuat.

  5. Jika bucket Amazon S3 yang ditentukan tidak Wilayah AWS sama dengan tabel target, pilih lokasi file S3 untuk lokasi data tersebut Wilayah AWS berada.

  6. Pilih File ini adalah file manifes jika file Amazon S3 sebenarnya adalah manifes yang berisi beberapa URI bucket Amazon S3.

  7. Pilih format File untuk file yang akan diunggah. Format data yang didukung adalah CSV, JSON, DELIMITER, FIXEDWIDTH, SHAPEFILE, AVRO, PARQUET, dan ORC. Tergantung pada format file yang ditentukan, Anda dapat memilih opsi File masing-masing. Anda juga dapat memilih Data dienkripsi jika data dienkripsi dan masukkan Nama Sumber Daya Amazon (ARN) dari kunci KMS yang digunakan untuk mengenkripsi data.

    Jika Anda memilih CSV atau DELIMITER, Anda juga dapat memilih karakter Delimiter dan apakah akan Abaikan baris header jika jumlah baris yang ditentukan sebenarnya adalah nama kolom dan bukan data yang akan dimuat.

  8. Pilih metode kompresi untuk mengompres file Anda. Defaultnya adalah tidak ada kompresi.

  9. (Opsional) Pengaturan lanjutan mendukung berbagai parameter konversi Data dan operasi Beban. Masukkan informasi ini sesuai kebutuhan untuk file Anda.

    Untuk informasi selengkapnya tentang konversi data dan parameter pemuatan data, lihat Parameter konversi data dan Operasi pemuatan data di Panduan Pengembang Database Amazon Redshift.

  10. Pilih Selanjutnya.

  11. Pilih Muat tabel yang ada.

  12. Konfirmasikan atau pilih lokasi tabel Target termasuk Cluster atau kelompok kerja, Database, Skema, dan nama Tabel tempat data dimuat.

  13. Pilih peran IAM yang memiliki izin yang diperlukan untuk memuat data dari Amazon S3.

  14. (Opsional) Pilih nama kolom untuk memasukkannya Pemetaan kolom untuk memetakan kolom dalam urutan file data input.

  15. Pilih Muat data untuk memulai pemuatan data.

    Saat beban selesai, editor kueri ditampilkan dengan perintah COPY yang dihasilkan yang digunakan untuk memuat data Anda. Hasil COPY ditampilkan. Jika berhasil, Anda sekarang dapat menggunakan SQL untuk memilih data dari tabel yang dimuat. Ketika ada kesalahan, kueri tampilan sistem STL_LOAD_ERRORS untuk mendapatkan detail lebih lanjut. Untuk informasi tentang kesalahan perintah COPY, lihat STL_LOAD_ERRORS di Panduan Pengembang Database Amazon Redshift.

Saat Anda memuat data ke dalam tabel baru, editor kueri v2 pertama-tama membuat tabel di database, lalu memuat data sebagai tindakan terpisah dalam alur kerja yang sama.

Untuk memuat data ke dalam tabel baru

Perintah COPY digunakan oleh editor kueri v2 untuk memuat data dari Amazon S3. Perintah COPY yang dihasilkan dan digunakan dalam wizard memuat data editor kueri v2 mendukung banyak parameter yang tersedia untuk sintaks perintah COPY untuk disalin dari Amazon S3. Untuk informasi tentang perintah COPY dan opsinya yang digunakan untuk memuat data dari Amazon S3, lihat COPY dari Amazon Simple Storage Service di Panduan Pengembang Database Amazon Redshift.

  1. Konfirmasikan bahwa Anda terhubung ke database target di panel tampilan pohon editor kueri v2 sebelum melanjutkan. Anda dapat membuat koneksi menggunakan menu konteks (klik kanan) ke cluster atau workgroup tempat data akan dimuat.

    Pilih Load Muat data.

  2. Untuk sumber Data, pilih Muat dari bucket S3.

  3. Di URI S3, pilih Browse S3 untuk mencari bucket Amazon S3 yang berisi data yang akan dimuat.

  4. Jika bucket Amazon S3 yang ditentukan tidak Wilayah AWS sama dengan tabel target, pilih lokasi file S3 untuk lokasi data tersebut Wilayah AWS berada.

  5. Pilih File ini adalah file manifes jika file Amazon S3 sebenarnya adalah manifes yang berisi beberapa URI bucket Amazon S3.

  6. Pilih format File untuk file yang akan diunggah. Format data yang didukung adalah CSV, JSON, DELIMITER, FIXEDWIDTH, SHAPEFILE, AVRO, PARQUET, dan ORC. Tergantung pada format file yang ditentukan, Anda dapat memilih opsi File masing-masing. Anda juga dapat memilih Data dienkripsi jika data dienkripsi dan masukkan Nama Sumber Daya Amazon (ARN) dari kunci KMS yang digunakan untuk mengenkripsi data.

    Jika Anda memilih CSV atau DELIMITER, Anda juga dapat memilih karakter Delimiter dan apakah akan Abaikan baris header jika jumlah baris yang ditentukan sebenarnya adalah nama kolom dan bukan data yang akan dimuat.

  7. Pilih metode kompresi untuk mengompres file Anda. Defaultnya adalah tidak ada kompresi.

  8. (Opsional) Pengaturan lanjutan mendukung berbagai parameter konversi Data dan operasi Beban. Masukkan informasi ini sesuai kebutuhan untuk file Anda.

    Untuk informasi selengkapnya tentang konversi data dan parameter pemuatan data, lihat Parameter konversi data dan Operasi pemuatan data di Panduan Pengembang Database Amazon Redshift.

  9. Pilih Selanjutnya.

  10. Pilih Muat tabel baru.

    Kolom tabel disimpulkan dari data input. Anda dapat memodifikasi definisi skema tabel dengan menambahkan kolom dan detail tabel. Untuk kembali ke skema tabel yang disimpulkan editor kueri v2, pilih Pulihkan ke default.

  11. Konfirmasikan atau pilih lokasi tabel Target termasuk Cluster atau workgroup, Database, dan Skema tempat data dimuat. Masukkan nama Tabel yang akan dibuat.

  12. Pilih peran IAM yang memiliki izin yang diperlukan untuk memuat data dari Amazon S3.

  13. Pilih Buat tabel untuk membuat tabel menggunakan definisi yang ditampilkan.

    Ringkasan tinjauan definisi tabel ditampilkan. Tabel dibuat dalam database. Untuk kemudian menghapus tabel, jalankan perintah DROP TABLE SQL. Untuk informasi selengkapnya, lihat DROP TABLE di Panduan Pengembang Database Amazon Redshift.

  14. Pilih Muat data untuk memulai pemuatan data.

    Saat beban selesai, editor kueri ditampilkan dengan perintah COPY yang dihasilkan yang digunakan untuk memuat data Anda. Hasil COPY ditampilkan. Jika berhasil, Anda sekarang dapat menggunakan SQL untuk memilih data dari tabel yang dimuat. Ketika ada kesalahan, kueri tampilan sistem STL_LOAD_ERRORS untuk mendapatkan detail lebih lanjut. Untuk informasi tentang kesalahan perintah COPY, lihat STL_LOAD_ERRORS di Panduan Pengembang Database Amazon Redshift.

Memuat data dari pengaturan file lokal dan alur kerja

Anda dapat memuat data dari file lokal ke tabel yang sudah ada atau yang baru.

Pengaturan administrator untuk memuat data dari file lokal

Administrator editor kueri v2 Anda harus menentukan bucket Amazon S3 umum di jendela Pengaturan akun. Pengguna akun harus dikonfigurasi dengan izin yang tepat.

  • Izin IAM yang diperlukan — pengguna pemuatan dari file lokal harus memilikis3:ListBucket,,s3:GetBucketLocation, s3:putObjects3:getObject, dan s3:deleteObject izin. Awalan opsional dapat ditentukan untuk membatasi penggunaan bucket ini terkait editor kueri v2 ke objek dengan awalan ini. Anda dapat menggunakan opsi ini saat menggunakan bucket Amazon S3 yang sama ini untuk penggunaan selain editor kueri v2. Untuk informasi selengkapnya tentang bucket dan awalan, lihat Mengelola akses pengguna ke folder tertentu di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon. Untuk memastikan bahwa akses data lintas pengguna tidak diizinkan, sebaiknya administrator editor kueri v2 menggunakan kebijakan bucket Amazon S3 untuk membatasi akses objek berdasarkan. aws:userid Contoh berikut memungkinkan izin Amazon S3 ke a <staging-bucket-name>dengan akses baca/tulis hanya ke objek Amazon S3 dengan awalan sebagai. aws:userid

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:GetBucketLocation" ], "Resource": [ "arn:aws:s3:::<staging-bucket-name>" ] }, { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::<staging-bucket-name>[/<optional-prefix>]/${aws:userid}/*" ] } ] }
  • Pemisahan data — kami menyarankan agar pengguna tidak memiliki akses ke data satu sama lain (bahkan sebentar). Memuat dari file lokal menggunakan bucket Amazon S3 pementasan yang disiapkan oleh administrator editor kueri v2. Konfigurasikan kebijakan bucket untuk bucket staging untuk menyediakan pemisahan data antar pengguna. <staging-bucket-name>Contoh berikut menunjukkan kebijakan bucket yang memisahkan data antara pengguna.

    { "Version": "2012-10-17", "Statement": [ {"Sid": "userIdPolicy", "Effect": "Deny", "Principal": "*", "Action": ["s3:PutObject", "s3:GetObject", "s3:DeleteObject"], "NotResource": [ "arn:aws:s3:::<staging-bucket-name>[/<optional-prefix>]/${aws:userid}/*" ] } ] }

Memuat data dari file lokal

Untuk memuat data file lokal ke dalam tabel yang ada

Administrator editor kueri v2 Anda harus menentukan bucket Amazon S3 umum di jendela Pengaturan akun. editor kueri v2 secara otomatis mengunggah file lokal ke bucket Amazon S3 umum yang digunakan oleh akun Anda, lalu menggunakan perintah COPY untuk memuat data. Perintah COPY yang dihasilkan dan dijalankan oleh editor kueri v2 memuat jendela file lokal mendukung banyak parameter yang tersedia untuk sintaks perintah COPY untuk disalin dari Amazon S3. Untuk informasi tentang perintah COPY dan opsinya yang digunakan untuk memuat data dari Amazon S3, lihat COPY dari Amazon S3 di Panduan Pengembang Database Amazon Redshift.

  1. Konfirmasikan bahwa tabel sudah dibuat di database tempat Anda ingin memuat data.

  2. Konfirmasikan bahwa Anda terhubung ke database target di panel tampilan pohon editor kueri v2. Anda dapat membuat koneksi menggunakan menu konteks (klik kanan) ke cluster atau workgroup tempat data akan dimuat.

  3. Pilih Load Muat data.

  4. Untuk Sumber data, pilih Muat dari file lokal.

  5. Pilih Browse untuk menemukan file yang berisi data untuk Memuat file. Secara default, file dengan ekstensi.csv, .avro.parquet, dan .orc ditampilkan, tetapi Anda dapat memilih jenis file lainnya. Ukuran file maksimum adalah 100 MB.

  6. Pilih format File untuk file yang akan diunggah. Format data yang didukung adalah CSV, JSON, DELIMITER, FIXEDWIDTH, SHAPEFILE, AVRO, PARQUET, dan ORC. Tergantung pada format file yang ditentukan, Anda dapat memilih opsi File masing-masing. Anda juga dapat memilih Data dienkripsi jika data dienkripsi dan masukkan Nama Sumber Daya Amazon (ARN) dari kunci KMS yang digunakan untuk mengenkripsi data.

    Jika Anda memilih CSV atau DELIMITER, Anda juga dapat memilih karakter Delimiter dan apakah akan Abaikan baris header jika jumlah baris yang ditentukan sebenarnya adalah nama kolom dan bukan data yang akan dimuat.

  7. (Opsional) Pengaturan lanjutan mendukung berbagai parameter konversi Data dan operasi Beban. Masukkan informasi ini sesuai kebutuhan untuk file Anda.

    Untuk informasi selengkapnya tentang konversi data dan parameter pemuatan data, lihat Parameter konversi data dan Operasi pemuatan data di Panduan Pengembang Database Amazon Redshift.

  8. Pilih Selanjutnya.

  9. Pilih Muat tabel yang ada.

  10. Konfirmasikan atau pilih lokasi tabel Target termasuk Cluster atau kelompok kerja, Database, Skema, dan nama Tabel tempat data dimuat.

  11. (Opsional) Anda dapat memilih nama kolom untuk dimasukkan Pemetaan kolom untuk memetakan kolom dalam urutan file data input.

  12. Pilih Muat data untuk memulai pemuatan data.

    Ketika beban selesai, pesan ditampilkan apakah beban berhasil atau tidak. Jika berhasil, Anda sekarang dapat menggunakan SQL untuk memilih data dari tabel yang dimuat. Ketika ada kesalahan, kueri tampilan sistem STL_LOAD_ERRORS untuk mendapatkan detail lebih lanjut. Untuk informasi tentang kesalahan perintah COPY, lihat STL_LOAD_ERRORS di Panduan Pengembang Database Amazon Redshift.

    Template perintah COPY yang digunakan untuk memuat data muncul di riwayat Query Anda. Template perintah COPY ini menunjukkan beberapa parameter yang digunakan, tetapi tidak dapat dijalankan langsung di tab editor. Untuk informasi selengkapnya tentang riwayat kueri, lihatMelihat kueri dan riwayat tab.

Saat Anda memuat data ke dalam tabel baru, editor kueri v2 pertama-tama membuat tabel di database, lalu memuat data sebagai tindakan terpisah dalam alur kerja yang sama.

Untuk memuat data file lokal ke dalam tabel baru

Administrator editor kueri v2 Anda harus menentukan bucket Amazon S3 umum di jendela Pengaturan akun. File lokal secara otomatis diunggah ke bucket Amazon S3 umum yang digunakan oleh akun Anda, dan kemudian perintah COPY digunakan oleh editor kueri v2 untuk memuat data. Perintah COPY yang dihasilkan dan dijalankan oleh editor kueri v2 memuat jendela file lokal mendukung banyak parameter yang tersedia untuk sintaks perintah COPY untuk disalin dari Amazon S3. Untuk informasi tentang perintah COPY dan opsinya yang digunakan untuk memuat data dari Amazon S3, lihat COPY dari Amazon S3 di Panduan Pengembang Database Amazon Redshift.

  1. Konfirmasikan bahwa Anda terhubung ke database target di panel tampilan pohon editor kueri v2. Anda dapat membuat koneksi menggunakan menu konteks (klik kanan) ke cluster atau workgroup tempat data akan dimuat.

  2. Pilih Load Muat data.

  3. Untuk Sumber data, pilih Muat dari file lokal.

  4. Pilih Browse untuk menemukan file yang berisi data untuk Memuat file. Secara default, file dengan ekstensi.csv, .avro.parquet, dan .orc ditampilkan, tetapi Anda dapat memilih jenis file lainnya. Ukuran file maksimum adalah 100 MB.

  5. Pilih format File untuk file yang akan diunggah. Format data yang didukung adalah CSV, JSON, DELIMITER, FIXEDWIDTH, SHAPEFILE, AVRO, PARQUET, dan ORC. Tergantung pada format file yang ditentukan, Anda dapat memilih opsi File masing-masing. Anda juga dapat memilih Data dienkripsi jika data dienkripsi dan masukkan Nama Sumber Daya Amazon (ARN) dari kunci KMS yang digunakan untuk mengenkripsi data.

    Jika Anda memilih CSV atau DELIMITER, Anda juga dapat memilih karakter Delimiter dan apakah akan Abaikan baris header jika jumlah baris yang ditentukan sebenarnya adalah nama kolom dan bukan data yang akan dimuat.

  6. (Opsional) Pengaturan lanjutan mendukung berbagai parameter konversi Data dan operasi Beban. Masukkan informasi ini sesuai kebutuhan untuk file Anda.

    Untuk informasi selengkapnya tentang konversi data dan parameter pemuatan data, lihat Parameter konversi data dan Operasi pemuatan data di Panduan Pengembang Database Amazon Redshift.

  7. Pilih Selanjutnya.

  8. Pilih Muat tabel baru.

  9. Konfirmasikan atau pilih lokasi tabel Target termasuk Cluster atau workgroup, Database, dan Skema tempat data dimuat. Masukkan nama Tabel yang akan dibuat.

  10. Pilih Buat tabel untuk membuat tabel menggunakan definisi yang ditampilkan.

    Ringkasan tinjauan definisi tabel ditampilkan. Tabel dibuat dalam database. Untuk kemudian menghapus tabel, jalankan perintah DROP TABLE SQL. Untuk informasi selengkapnya, lihat DROP TABLE di Panduan Pengembang Database Amazon Redshift.

  11. Pilih Muat data untuk memulai pemuatan data.

    Ketika beban selesai, pesan ditampilkan yang menunjukkan apakah beban berhasil atau tidak. Jika berhasil, Anda sekarang dapat menggunakan SQL untuk memilih data dari tabel yang dimuat. Ketika ada kesalahan, kueri tampilan sistem STL_LOAD_ERRORS untuk mendapatkan detail lebih lanjut. Untuk informasi tentang kesalahan perintah COPY, lihat STL_LOAD_ERRORS di Panduan Pengembang Database Amazon Redshift.

    Template perintah COPY yang digunakan untuk memuat data muncul di riwayat Query Anda. Template perintah COPY ini menunjukkan beberapa parameter yang digunakan, tetapi tidak dapat dijalankan langsung di tab editor. Untuk informasi selengkapnya tentang riwayat kueri, lihatMelihat kueri dan riwayat tab.