Menyalin data antara DynamoDB dan tabel Hive asli

Jika memiliki data dalam tabel DynamoDB, Anda dapat menyalin data tersebut ke tabel Hive asli. Tindakan ini akan menghasilkan snapshot data tersebut, saat Anda menyalinnya.

Anda dapat melakukan tindakan ini jika perlu melakukan banyak kueri HiveQL, tetapi tidak ingin menggunakan kapasitas throughput yang disediakan dari DynamoDB. Karena data dalam tabel Hive asli adalah salinan data dari DynamoDB, dan bukan data “langsung”, kueri Anda seharusnya tidak mengharapkan data tersebut. up-to-date

catatan

Contoh di bagian ini ditulis dengan asumsi Anda mengikuti langkah-langkah di Tutorial: Menggunakan Amazon DynamoDB dan Apache Hive dan memiliki tabel eksternal di DynamoDB bernama ddb_features.

contoh Dari DynamoDB ke tabel Hive asli

Anda dapat membuat tabel Hive asli dan mengisinya dengan data dari ddb_features, seperti ini:

CREATE TABLE features_snapshot AS
SELECT * FROM ddb_features;

Anda kemudian dapat menyegarkan data kapan saja:

INSERT OVERWRITE TABLE features_snapshot
SELECT * FROM ddb_features;

Dalam contoh ini, subkueri SELECT * FROM ddb_features akan mengambil semua data dari ddb_features. Jika hanya ingin menyalin subset data, Anda dapat menggunakan klausul WHERE dalam subkueri.

Contoh berikut membuat tabel Hive asli, yang hanya berisi beberapa atribut untuk danau dan puncak:

CREATE TABLE lakes_and_summits AS
SELECT feature_name, feature_class, state_alpha
FROM ddb_features
WHERE feature_class IN ('Lake','Summit');

contoh Dari tabel Hive asli ke DynamoDB

Gunakan pernyataan HiveQL berikut untuk menyalin data dari tabel Hive asli ke ddb_features:

INSERT OVERWRITE TABLE ddb_features
SELECT * FROM features_snapshot;