API Kualitas Data

API Kualitas Data menjelaskan tipe data kualitas data, dan menyertakan API untuk membuat, menghapus, atau memperbarui kumpulan aturan, proses, dan evaluasi kualitas data.

Jenis data

• DataSource struktur

• DataQualityRulesetListDetails struktur

• DataQualityTargetTable struktur

• DataQualityRulesetEvaluationRunDescription struktur

• DataQualityRulesetEvaluationRunFilter struktur

• DataQualityEvaluationRunAdditionalRunOptions struktur

• DataQualityRuleRecommendationRunDescription struktur

• DataQualityRuleRecommendationRunFilter struktur

• DataQualityResult struktur

• DataQualityAnalyzerResult struktur

• DataQualityObservation struktur

• MetricBasedObservation struktur

• DataQualityMetricValues struktur

• DataQualityRuleResult struktur

• DataQualityResultDescription struktur

• DataQualityResultFilterCriteria struktur

• DataQualityRulesetFilterCriteria struktur

• StatisticAnnotation struktur

• TimestampedInclusionAnnotation struktur

• AnnotationError struktur

• DatapointInclusionAnnotation struktur

• StatisticSummaryList daftar

• StatisticSummary struktur

• RunIdentifier struktur

• StatisticModelResult struktur

DataSource struktur

Sumber data ( AWS Glue tabel) yang Anda inginkan hasil kualitas datanya.

Bidang

• GlueTable — Wajib: Sebuah objek GlueTable.

  Sebuah AWS Glue meja.

DataQualityRulesetListDetails struktur

Menjelaskan kumpulan aturan kualitas data yang dikembalikan oleh. GetDataQualityRuleset

Bidang

• Name — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama aturan kualitas data.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi aturan kualitas data.

• CreatedOn — Stempel waktu.

  Tanggal dan waktu kumpulan aturan kualitas data dibuat.

• LastModifiedOn — Stempel waktu.

  Tanggal dan waktu aturan kualitas data terakhir diubah.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Objek yang mewakili AWS Glue tabel.

• RecommendationRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Ketika kumpulan aturan dibuat dari rekomendasi yang dijalankan, ID run ini dihasilkan untuk menghubungkan keduanya bersama-sama.

• RuleCount — Nomor (bilangan bulat).

  Jumlah aturan dalam aturan.

DataQualityTargetTable struktur

Objek yang mewakili AWS Glue tabel.

Bidang

• TableName — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama AWS Glue meja.

• DatabaseName — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama database tempat AWS Glue tabel ada.

• CatalogId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Id katalog tempat AWS Glue tabel ada.

DataQualityRulesetEvaluationRunDescription struktur

Menjelaskan hasil evaluasi set aturan kualitas data.

Bidang

• RunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

• Status – String UTF-8 (nilai yang valid: RUNNING | FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING | CANCELED | RECEIVED_BY_TASKRUNNER).

  Status untuk eksekusi ini.

• StartedOn — Stempel waktu.

  Tanggal dan waktu saat lari dimulai.

• DataSource — Sebuah objek DataSource.

  Sumber data ( AWS Glue tabel) yang terkait dengan proses.

DataQualityRulesetEvaluationRunFilter struktur

Kriteria filter.

Bidang

• DataSource — Wajib: Sebuah objek DataSource.

  Filter berdasarkan sumber data ( AWS Glue tabel) yang terkait dengan proses.

• StartedBefore — Stempel waktu.

  Filter hasil berdasarkan proses yang dimulai sebelum waktu ini.

• StartedAfter — Stempel waktu.

  Filter hasil berdasarkan proses yang dimulai setelah waktu ini.

DataQualityEvaluationRunAdditionalRunOptions struktur

Opsi run tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.

Bidang

• CloudWatchMetricsEnabled – Boolean.

  Apakah akan mengaktifkan CloudWatch metrik atau tidak.

• ResultsS3Prefix – String UTF-8.

  Awalan untuk Amazon S3 untuk menyimpan hasil.

• CompositeRuleEvaluationMethod – String UTF-8 (nilai yang valid: COLUMN | ROW).

  Tetapkan metode evaluasi untuk aturan komposit dalam kumpulan aturan ke ROW/COLUMN

DataQualityRuleRecommendationRunDescription struktur

Menjelaskan hasil dari rekomendasi aturan kualitas data yang dijalankan.

Bidang

• RunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

• Status – String UTF-8 (nilai yang valid: RUNNING | FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING | CANCELED | RECEIVED_BY_TASKRUNNER).

  Status untuk eksekusi ini.

• StartedOn — Stempel waktu.

  Tanggal dan waktu kapan proses ini dimulai.

• DataSource — Sebuah objek DataSource.

  Sumber data (AWS Glue tabel) yang terkait dengan rekomendasi dijalankan.

DataQualityRuleRecommendationRunFilter struktur

Filter untuk mencantumkan rekomendasi kualitas data berjalan.

Bidang

• DataSource — Wajib: Sebuah objek DataSource.

  Filter berdasarkan sumber data tertentu (AWS Glue tabel).

• StartedBefore — Stempel waktu.

  Filter berdasarkan waktu untuk hasil dimulai sebelum waktu yang ditentukan.

• StartedAfter — Stempel waktu.

  Filter berdasarkan waktu untuk hasil dimulai setelah waktu yang ditentukan.

DataQualityResult struktur

Menjelaskan hasil kualitas data.

Bidang

• ResultId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID hasil unik untuk hasil kualitas data.

• ProfileId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Profil untuk hasil kualitas data.

• Score — Nomor (ganda), tidak lebih dari 1.0.

  Skor kualitas data agregat. Merupakan rasio aturan yang diteruskan ke jumlah total aturan.

• DataSource — Sebuah objek DataSource.

  Tabel yang terkait dengan hasil kualitas data, jika ada.

• RulesetName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama ruleset terkait dengan hasil kualitas data.

• EvaluationContext – String UTF-8.

  Dalam konteks pekerjaan di AWS Glue Studio, setiap node di kanvas biasanya diberi semacam nama dan node kualitas data akan memiliki nama. Dalam kasus beberapa node, evaluationContext dapat membedakan node.

• StartedOn — Stempel waktu.

  Tanggal dan waktu ketika kualitas data ini berjalan dimulai.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu ketika kualitas data ini berjalan selesai.

• JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama pekerjaan yang terkait dengan hasil kualitas data, jika ada.

• JobRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID job run terkait dengan hasil kualitas data, jika ada.

• RulesetEvaluationRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID run unik untuk evaluasi set aturan untuk hasil kualitas data ini.

• RuleResults— Sebuah array DataQualityRuleResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityRuleResult objek yang mewakili hasil untuk setiap aturan.

• AnalyzerResults— Sebuah array DataQualityAnalyzerResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityAnalyzerResult objek yang mewakili hasil untuk setiap analyzer.

• Observations — Susunan objek DataQualityObservation, tidak lebih dari 50 struktur.

  Daftar DataQualityObservation objek yang mewakili pengamatan yang dihasilkan setelah mengevaluasi aturan dan penganalisis.

DataQualityAnalyzerResult struktur

Menjelaskan hasil evaluasi penganalisis kualitas data.

Bidang

• Name — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama penganalisis kualitas data.

• Description — String UTF-8, sepanjang tidak lebih dari 2048, yang cocok dengan URI address multi-line string pattern.

  Deskripsi penganalisis kualitas data.

• EvaluationMessage — String UTF-8, sepanjang tidak lebih dari 2048, yang cocok dengan URI address multi-line string pattern.

  Pesan evaluasi.

• EvaluatedMetrics – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah Angka (ganda).

  Peta metrik yang terkait dengan evaluasi penganalisis.

DataQualityObservation struktur

Menjelaskan pengamatan yang dihasilkan setelah mengevaluasi aturan dan penganalisis.

Bidang

• Description — String UTF-8, sepanjang tidak lebih dari 2048, yang cocok dengan URI address multi-line string pattern.

  Deskripsi pengamatan kualitas data.

• MetricBasedObservation — Sebuah objek MetricBasedObservation.

  Objek tipe yang MetricBasedObservation mewakili pengamatan yang didasarkan pada metrik kualitas data yang dievaluasi.

MetricBasedObservation struktur

Menjelaskan pengamatan berbasis metrik yang dihasilkan berdasarkan metrik kualitas data yang dievaluasi.

Bidang

• MetricName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama metrik kualitas data yang digunakan untuk menghasilkan pengamatan.

• StatisticId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Statistik.

• MetricValues — Sebuah objek DataQualityMetricValues.

  Objek tipe DataQualityMetricValues yang mewakili analisis nilai metrik kualitas data.

• NewRules – Susunan string UTF-8.

  Daftar aturan kualitas data baru yang dihasilkan sebagai bagian dari pengamatan berdasarkan nilai metrik kualitas data.

DataQualityMetricValues struktur

Menjelaskan nilai metrik kualitas data menurut analisis data historis.

Bidang

• ActualValue — Nomor (ganda).

  Nilai aktual dari metrik kualitas data.

• ExpectedValue — Nomor (ganda).

  Nilai yang diharapkan dari metrik kualitas data menurut analisis data historis.

• LowerLimit — Nomor (ganda).

  Batas bawah nilai metrik kualitas data menurut analisis data historis.

• UpperLimit — Nomor (ganda).

  Batas atas nilai metrik kualitas data menurut analisis data historis.

DataQualityRuleResult struktur

Menjelaskan hasil evaluasi aturan kualitas data.

Bidang

• Name — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama aturan kualitas data.

• Description — String UTF-8, sepanjang tidak lebih dari 2048, yang cocok dengan URI address multi-line string pattern.

  Deskripsi aturan kualitas data.

• EvaluationMessage — String UTF-8, sepanjang tidak lebih dari 2048, yang cocok dengan URI address multi-line string pattern.

  Pesan evaluasi.

• Result – String UTF-8 (nilai yang valid: PASS | FAIL | ERROR).

  Status lulus atau gagal untuk aturan.

• EvaluatedMetrics – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah Angka (ganda).

  Peta metrik yang terkait dengan evaluasi aturan.

• EvaluatedRule — String UTF-8, sepanjang tidak lebih dari 2048, yang cocok dengan URI address multi-line string pattern.

  Aturan yang dievaluasi.

DataQualityResultDescription struktur

Menjelaskan hasil kualitas data.

Bidang

• ResultId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID hasil unik untuk hasil kualitas data ini.

• DataSource — Sebuah objek DataSource.

  Nama tabel yang terkait dengan hasil kualitas data.

• JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama pekerjaan yang terkait dengan hasil kualitas data.

• JobRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID job run terkait dengan hasil kualitas data.

• StartedOn — Stempel waktu.

  Waktu proses dimulai untuk hasil kualitas data ini.

DataQualityResultFilterCriteria struktur

Kriteria yang digunakan untuk mengembalikan hasil kualitas data.

Bidang

• DataSource — Sebuah objek DataSource.

  Filter hasil berdasarkan sumber data yang ditentukan. Misalnya, mengambil semua hasil untuk sebuah AWS Glue tabel.

• JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Filter hasil dengan nama pekerjaan yang ditentukan.

• JobRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Filter hasil berdasarkan ID job run yang ditentukan.

• StartedAfter — Stempel waktu.

  Filter hasil berdasarkan proses yang dimulai setelah waktu ini.

• StartedBefore — Stempel waktu.

  Filter hasil berdasarkan proses yang dimulai sebelum waktu ini.

DataQualityRulesetFilterCriteria struktur

Kriteria yang digunakan untuk menyaring kumpulan aturan kualitas data.

Bidang

• Name — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama kriteria filter ruleset.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi kriteria filter ruleset.

• CreatedBefore — Stempel waktu.

  Filter pada set aturan yang dibuat sebelum tanggal ini.

• CreatedAfter — Stempel waktu.

  Filter pada set aturan yang dibuat setelah tanggal ini.

• LastModifiedBefore — Stempel waktu.

  Filter pada aturan set terakhir diubah sebelum tanggal ini.

• LastModifiedAfter — Stempel waktu.

  Filter pada aturan set terakhir diubah setelah tanggal ini.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Nama dan nama database dari tabel target.

StatisticAnnotation struktur

Anotasi Statistik.

Bidang

• ProfileId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Profil.

• StatisticId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Statistik.

• StatisticRecordedOn — Stempel waktu.

  Stempel waktu ketika statistik beranotasi dicatat.

• InclusionAnnotation — Sebuah objek TimestampedInclusionAnnotation.

  Anotasi inklusi diterapkan pada statistik.

TimestampedInclusionAnnotation struktur

Anotasi inklusi stempel waktu.

Bidang

• Value – String UTF-8 (nilai yang valid: INCLUDE | EXCLUDE).

  Nilai anotasi inklusi.

• LastModifiedOn — Stempel waktu.

  Stempel waktu saat anotasi inklusi terakhir diubah.

AnnotationError struktur

Anotasi yang gagal.

Bidang

• ProfileId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Profil untuk anotasi yang gagal.

• StatisticId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Statistik untuk anotasi yang gagal.

• FailureReason — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Alasan mengapa anotasi gagal.

DatapointInclusionAnnotation struktur

Anotasi Inklusi.

Bidang

• ProfileId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID profil kualitas data yang dimiliki statistik.

• StatisticId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Statistik.

• InclusionAnnotation – String UTF-8 (nilai yang valid: INCLUDE | EXCLUDE).

  Nilai anotasi inklusi untuk diterapkan pada statistik.

StatisticSummaryList daftar

Daftar dari StatisticSummary.

Susunan objek StatisticSummary.

Daftar dari StatisticSummary.

StatisticSummary struktur

Ringkasan informasi tentang statistik.

Bidang

• StatisticId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Statistik.

• ProfileId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Profil.

• RunIdentifier — Sebuah objek RunIdentifier.

  Pengidentifikasi Jalankan

• StatisticName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Custom string pattern #16.

  Nama statistik.

• DoubleValue — Nomor (ganda).

  Nilai statistik.

• EvaluationLevel – String UTF-8 (nilai yang valid: Dataset="DATASET" | Column="COLUMN" | Multicolumn="MULTICOLUMN").

  Tingkat evaluasi statistik. Nilai yang mungkin:Dataset,Column,Multicolumn.

• ColumnsReferenced – Susunan string UTF-8.

  Daftar kolom yang direferensikan oleh statistik.

• ReferencedDatasets – Susunan string UTF-8.

  Daftar kumpulan data yang direferensikan oleh statistik.

• StatisticProperties – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah string Deskripsi, panjangnya tidak lebih dari 2048 byte, cocok dengan. URI address multi-line string pattern

  AStatisticPropertiesMap, yang berisi a NameString dan DescriptionString

• RecordedOn — Stempel waktu.

  Stempel waktu ketika statistik dicatat.

• InclusionAnnotation — Sebuah objek TimestampedInclusionAnnotation.

  Anotasi inklusi untuk statistik.

RunIdentifier struktur

Pengidentifikasi run.

Bidang

• RunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Jalankan.

• JobRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Job Run.

StatisticModelResult struktur

Hasil model statistik.

Bidang

• LowerBound — Nomor (ganda).

  Batas bawah.

• UpperBound — Nomor (ganda).

  Batas atas.

• PredictedValue — Nomor (ganda).

  Nilai yang diprediksi.

• ActualValue — Nomor (ganda).

  Nilai sebenarnya.

• Date — Stempel waktu.

  Tanggalnya.

• InclusionAnnotation – String UTF-8 (nilai yang valid: INCLUDE | EXCLUDE).

  Anotasi inklusi.

Operasi

• StartDataQualityRulesetEvaluationRun tindakan (Python: start_data_quality_ruleset_evaluation_run)

• CancelDataQualityRulesetEvaluationRun tindakan (Python: cancel_data_quality_ruleset_evaluation_run)

• GetDataQualityRulesetEvaluationRun tindakan (Python: get_data_quality_ruleset_evaluation_run)

• ListDataQualityRulesetEvaluationRuns tindakan (Python: list_data_quality_ruleset_evaluation_runs)

• StartDataQualityRuleRecommendationRun tindakan (Python: start_data_quality_rule_recommendation_run)

• CancelDataQualityRuleRecommendationRun tindakan (Python: cancel_data_quality_rule_recommendation_run)

• GetDataQualityRuleRecommendationRun tindakan (Python: get_data_quality_rule_recommendation_run)

• ListDataQualityRuleRecommendationRuns tindakan (Python: list_data_quality_rule_recommendation_runs)

• GetDataQualityResult tindakan (Python: get_data_quality_result)

• BatchGetDataQualityResult tindakan (Python: batch_get_data_quality_result)

• ListDataQualityResults tindakan (Python: list_data_quality_results)

• CreateDataQualityRuleset tindakan (Python: create_data_quality_ruleset)

• DeleteDataQualityRuleset tindakan (Python: delete_data_quality_ruleset)

• GetDataQualityRuleset tindakan (Python: get_data_quality_ruleset)

• ListDataQualityRulesets tindakan (Python: list_data_quality_rulesets)

• UpdateDataQualityRuleset tindakan (Python: update_data_quality_ruleset)

• ListDataQualityStatistics tindakan (Python: list_data_quality_statistics)

• TimestampFilter struktur

• CreateDataQualityRulesetRequest struktur

• GetDataQualityRulesetResponse struktur

• GetDataQualityResultResponse struktur

• StartDataQualityRuleRecommendationRunRequest struktur

• GetDataQualityRuleRecommendationRunResponse struktur

• BatchPutDataQualityStatisticAnnotation tindakan (Python: batch_put_data_quality_statistic_annotation)

• GetDataQualityModel tindakan (Python: get_data_quality_model)

• GetDataQualityModelResult tindakan (Python: get_data_quality_model_result)

• ListDataQualityStatisticAnnotations tindakan (Python: list_data_quality_statistic_annotations)

• PutDataQualityProfileAnnotation tindakan (Python: put_data_quality_profile_annotation)

StartDataQualityRulesetEvaluationRun tindakan (Python: start_data_quality_ruleset_evaluation_run)

Setelah Anda memiliki definisi kumpulan aturan (baik yang direkomendasikan atau milik Anda sendiri), Anda memanggil operasi ini untuk mengevaluasi kumpulan aturan terhadap sumber data (tabel).AWS Glue Evaluasi menghitung hasil yang dapat Anda ambil dengan API. GetDataQualityResult

Permintaan

• DataSource — Wajib: Sebuah objek DataSource.

  Sumber data (AWS Glue tabel) yang terkait dengan proses ini.

• Role – Wajib: String UTF-8.

  IAM Peran yang diberikan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• ClientToken — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Digunakan untuk idempotensi dan direkomendasikan untuk disetel ke ID acak (seperti UUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.

• AdditionalRunOptions — Sebuah objek DataQualityEvaluationRunAdditionalRunOptions.

  Opsi run tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.

• RulesetNames— Diperlukan: Sebuah array string UTF-8, tidak kurang dari 1 atau lebih dari 10 string.

  Daftar nama ruleset.

• AdditionalDataSources – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah sebuah objek DataSource A.

  Peta string referensi ke sumber data tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.

Respons

• RunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• OperationTimeoutException

• InternalServiceException

• ConflictException

CancelDataQualityRulesetEvaluationRun tindakan (Python: cancel_data_quality_ruleset_evaluation_run)

Membatalkan proses di mana kumpulan aturan sedang dievaluasi terhadap sumber data.

Permintaan

• RunId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

GetDataQualityRulesetEvaluationRun tindakan (Python: get_data_quality_ruleset_evaluation_run)

Mengambil run tertentu di mana ruleset dievaluasi terhadap sumber data.

Permintaan

• RunId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Respons

• RunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

• DataSource — Sebuah objek DataSource.

  Sumber data ( AWS Glue tabel) yang terkait dengan evaluasi ini dijalankan.

• Role – String UTF-8.

  IAM Peran yang diberikan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• AdditionalRunOptions — Sebuah objek DataQualityEvaluationRunAdditionalRunOptions.

  Opsi run tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.

• Status – String UTF-8 (nilai yang valid: RUNNING | FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING | CANCELED | RECEIVED_BY_TASKRUNNER).

  Status untuk eksekusi ini.

• ErrorString – String UTF-8.

  String kesalahan yang terkait dengan proses.

• StartedOn — Stempel waktu.

  Tanggal dan waktu kapan proses ini dimulai.

• LastModifiedOn — Stempel waktu.

  Sebuah stempel waktu. Poin terakhir saat rekomendasi aturan kualitas data ini dijalankan telah dimodifikasi.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu saat proses ini selesai.

• ExecutionTime — Nomor (bilangan bulat).

  Jumlah waktu (dalam detik) bahwa run mengkonsumsi sumber daya.

• RulesetNames— Array string UTF-8, tidak kurang dari 1 atau lebih dari 10 string.

  Daftar nama ruleset untuk lari. Saat ini, parameter ini hanya mengambil satu nama Ruleset.

• ResultIds— Array string UTF-8, tidak kurang dari 1 atau lebih dari 10 string.

  Daftar hasil IDs untuk hasil kualitas data untuk dijalankan.

• AdditionalDataSources – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah sebuah objek DataSource A.

  Peta string referensi ke sumber data tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

ListDataQualityRulesetEvaluationRuns tindakan (Python: list_data_quality_ruleset_evaluation_runs)

Daftar semua proses yang memenuhi kriteria filter, di mana kumpulan aturan dievaluasi terhadap sumber data.

Permintaan

• Filter — Sebuah objek DataQualityRulesetEvaluationRunFilter.

  Kriteria filter.

• NextToken – String UTF-8.

  Sebuah token pemberian nomor halaman untuk mengimbangi hasil.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah hasil maksimum yang akan dikembalikan.

Respons

• Runs – Susunan objek DataQualityRulesetEvaluationRunDescription.

  Sebuah daftar DataQualityRulesetEvaluationRunDescription objek yang mewakili kualitas data ruleset berjalan.

• NextToken – String UTF-8.

  Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

StartDataQualityRuleRecommendationRun tindakan (Python: start_data_quality_rule_recommendation_run)

Memulai proses rekomendasi yang digunakan untuk menghasilkan aturan ketika Anda tidak tahu aturan apa yang harus ditulis. AWS Glue Kualitas Data menganalisis data dan menghasilkan rekomendasi untuk kumpulan aturan potensial. Anda kemudian dapat melakukan triase set aturan dan memodifikasi kumpulan aturan yang dihasilkan sesuai keinginan Anda.

Rekomendasi berjalan secara otomatis dihapus setelah 90 hari.

Permintaan

Permintaan permintaan rekomendasi aturan Kualitas Data.

• DataSource — Wajib: Sebuah objek DataSource.

  Sumber data (AWS Glue tabel) yang terkait dengan proses ini.

• Role – Wajib: String UTF-8.

  IAM Peran yang diberikan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• CreatedRulesetName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Sebuah nama untuk ruleset.

• DataQualitySecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

• ClientToken — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Digunakan untuk idempotensi dan direkomendasikan untuk disetel ke ID acak (seperti UUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.

Respons

• RunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• ConflictException

CancelDataQualityRuleRecommendationRun tindakan (Python: cancel_data_quality_rule_recommendation_run)

Membatalkan proses rekomendasi yang ditentukan yang digunakan untuk menghasilkan aturan.

Permintaan

• RunId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

GetDataQualityRuleRecommendationRun tindakan (Python: get_data_quality_rule_recommendation_run)

Mendapatkan rekomendasi tertentu yang dijalankan yang digunakan untuk menghasilkan aturan.

Permintaan

• RunId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Respons

Respons untuk rekomendasi aturan Kualitas Data dijalankan.

• RunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

• DataSource — Sebuah objek DataSource.

  Sumber data ( AWS Glue tabel) yang terkait dengan proses ini.

• Role – String UTF-8.

  IAM Peran yang diberikan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• Status – String UTF-8 (nilai yang valid: RUNNING | FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING | CANCELED | RECEIVED_BY_TASKRUNNER).

  Status untuk eksekusi ini.

• ErrorString – String UTF-8.

  String kesalahan yang terkait dengan proses.

• StartedOn — Stempel waktu.

  Tanggal dan waktu kapan proses ini dimulai.

• LastModifiedOn — Stempel waktu.

  Sebuah stempel waktu. Poin terakhir saat rekomendasi aturan kualitas data ini dijalankan telah dimodifikasi.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu saat proses ini selesai.

• ExecutionTime — Nomor (bilangan bulat).

  Jumlah waktu (dalam detik) bahwa run mengkonsumsi sumber daya.

• RecommendedRuleset— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.

  Ketika proses rekomendasi aturan mulai selesai, itu membuat kumpulan aturan yang direkomendasikan (seperangkat aturan). Anggota ini memiliki aturan tersebut dalam format Data Quality Definition Language (DQDL).

• CreatedRulesetName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama ruleset yang dibuat oleh run.

• DataQualitySecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

ListDataQualityRuleRecommendationRuns tindakan (Python: list_data_quality_rule_recommendation_runs)

Daftar rekomendasi berjalan memenuhi kriteria filter.

Permintaan

• Filter — Sebuah objek DataQualityRuleRecommendationRunFilter.

  Kriteria filter.

• NextToken – String UTF-8.

  Sebuah token pemberian nomor halaman untuk mengimbangi hasil.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah hasil maksimum yang akan dikembalikan.

Respons

• Runs – Susunan objek DataQualityRuleRecommendationRunDescription.

  Daftar objek DataQualityRuleRecommendationRunDescription.

• NextToken – String UTF-8.

  Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

GetDataQualityResult tindakan (Python: get_data_quality_result)

Mengambil hasil evaluasi aturan kualitas data.

Permintaan

• ResultId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID hasil unik untuk hasil kualitas data.

Respons

Respons untuk hasil kualitas data.

• ResultId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID hasil unik untuk hasil kualitas data.

• ProfileId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Profil untuk hasil kualitas data.

• Score — Nomor (ganda), tidak lebih dari 1.0.

  Skor kualitas data agregat. Merupakan rasio aturan yang diteruskan ke jumlah total aturan.

• DataSource — Sebuah objek DataSource.

  Tabel yang terkait dengan hasil kualitas data, jika ada.

• RulesetName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama ruleset terkait dengan hasil kualitas data.

• EvaluationContext – String UTF-8.

  Dalam konteks pekerjaan di AWS Glue Studio, setiap node di kanvas biasanya diberi semacam nama dan node kualitas data akan memiliki nama. Dalam kasus beberapa node, evaluationContext dapat membedakan node.

• StartedOn — Stempel waktu.

  Tanggal dan waktu ketika proses untuk hasil kualitas data ini dimulai.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu ketika proses untuk hasil kualitas data ini selesai.

• JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama pekerjaan yang terkait dengan hasil kualitas data, jika ada.

• JobRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID job run terkait dengan hasil kualitas data, jika ada.

• RulesetEvaluationRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID run unik yang terkait dengan evaluasi ruleset.

• RuleResults— Sebuah array DataQualityRuleResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityRuleResult objek yang mewakili hasil untuk setiap aturan.

• AnalyzerResults— Sebuah array DataQualityAnalyzerResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityAnalyzerResult objek yang mewakili hasil untuk setiap analyzer.

• Observations — Susunan objek DataQualityObservation, tidak lebih dari 50 struktur.

  Daftar DataQualityObservation objek yang mewakili pengamatan yang dihasilkan setelah mengevaluasi aturan dan penganalisis.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• EntityNotFoundException

BatchGetDataQualityResult tindakan (Python: batch_get_data_quality_result)

Mengambil daftar hasil kualitas data untuk hasil yang ditentukan. IDs

Permintaan

• ResultIds— Diperlukan: Sebuah array string UTF-8, tidak kurang dari 1 atau lebih dari 100 string.

  Daftar hasil unik IDs untuk hasil kualitas data.

Respons

• Results – Wajib: Susunan objek DataQualityResult.

  Daftar DataQualityResult objek yang mewakili hasil kualitas data.

• ResultsNotFound— Array string UTF-8, tidak kurang dari 1 atau lebih dari 100 string.

  Daftar hasil IDs yang hasilnya tidak ditemukan.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

ListDataQualityResults tindakan (Python: list_data_quality_results)

Mengembalikan semua hasil eksekusi kualitas data untuk akun Anda.

Permintaan

• Filter — Sebuah objek DataQualityResultFilterCriteria.

  Kriteria filter.

• NextToken – String UTF-8.

  Sebuah token pemberian nomor halaman untuk mengimbangi hasil.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah hasil maksimum yang akan dikembalikan.

Respons

• Results – Wajib: Susunan objek DataQualityResultDescription.

  Daftar objek DataQualityResultDescription.

• NextToken – String UTF-8.

  Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

CreateDataQualityRuleset tindakan (Python: create_data_quality_ruleset)

Membuat aturan kualitas data dengan aturan DQDL diterapkan ke tabel tertentu. AWS Glue

Anda membuat kumpulan aturan menggunakan Data Quality Definition Language (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

Permintaan

Permintaan untuk membuat kumpulan aturan kualitas data.

• Name — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama unik untuk kumpulan aturan kualitas data.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi aturan kualitas data.

• Ruleset- Diperlukan: string UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.

  Aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 128 byte.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak lebih dari 256 byte.

  Daftar tag yang diterapkan pada kumpulan aturan kualitas data.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Tabel target yang terkait dengan kumpulan aturan kualitas data.

• RecommendationRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID run unik untuk menjalankan rekomendasi.

• DataQualitySecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

• ClientToken — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Digunakan untuk idempotensi dan direkomendasikan untuk disetel ke ID acak (seperti UUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.

Respons

• Name — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama unik untuk kumpulan aturan kualitas data.

Kesalahan

• InvalidInputException

• AlreadyExistsException

• OperationTimeoutException

• InternalServiceException

• ResourceNumberLimitExceededException

DeleteDataQualityRuleset tindakan (Python: delete_data_quality_ruleset)

Menghapus aturan kualitas data.

Permintaan

• Name — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama untuk kumpulan aturan kualitas data.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

GetDataQualityRuleset tindakan (Python: get_data_quality_ruleset)

Mengembalikan aturan yang ada dengan identifier atau nama.

Permintaan

• Name — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama ruleset.

Respons

Mengembalikan respon ruleset kualitas data.

• Name — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama ruleset.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi dari ruleset.

• Ruleset— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.

  Aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Nama dan nama database dari tabel target.

• CreatedOn — Stempel waktu.

  Sebuah stempel waktu. Waktu dan tanggal pembuatan aturan kualitas data ini.

• LastModifiedOn — Stempel waktu.

  Sebuah stempel waktu. Poin terakhir dalam waktu ketika aturan kualitas data ini dimodifikasi.

• RecommendationRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Ketika kumpulan aturan dibuat dari rekomendasi yang dijalankan, ID run ini dihasilkan untuk menghubungkan keduanya bersama-sama.

• DataQualitySecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

ListDataQualityRulesets tindakan (Python: list_data_quality_rulesets)

Mengembalikan daftar paginasi rulesets untuk daftar tabel yang ditentukan. AWS Glue

Permintaan

• NextToken – String UTF-8.

  Sebuah token pemberian nomor halaman untuk mengimbangi hasil.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah hasil maksimum yang akan dikembalikan.

• Filter — Sebuah objek DataQualityRulesetFilterCriteria.

  Kriteria filter.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 128 byte.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak lebih dari 256 byte.

  Daftar tag pasangan kunci-nilai.

Respons

• Rulesets – Susunan objek DataQualityRulesetListDetails.

  Daftar aturan paginasi untuk daftar tabel yang ditentukan. AWS Glue

• NextToken – String UTF-8.

  Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

UpdateDataQualityRuleset tindakan (Python: update_data_quality_ruleset)

Memperbarui aturan kualitas data yang ditentukan.

Permintaan

• Name — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama aturan kualitas data.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi dari ruleset.

• Ruleset— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.

  Aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

Respons

• Name — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama aturan kualitas data.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi dari ruleset.

• Ruleset— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.

  Aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

Kesalahan

• EntityNotFoundException

• AlreadyExistsException

• IdempotentParameterMismatchException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• ResourceNumberLimitExceededException

ListDataQualityStatistics tindakan (Python: list_data_quality_statistics)

Mengambil daftar statistik kualitas data.

Permintaan

• StatisticId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Statistik.

• ProfileId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Profil.

• TimestampFilter — Sebuah objek TimestampFilter.

  Filter stempel waktu.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah maksimum hasil untuk dikembalikan dalam permintaan ini.

• NextToken – String UTF-8.

  Token pagination untuk meminta halaman hasil berikutnya.

Respons

• Statistics – Susunan objek StatisticSummary.

  AStatisticSummaryList.

• NextToken – String UTF-8.

  Token pagination untuk meminta halaman hasil berikutnya.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

TimestampFilter struktur

Filter stempel waktu.

Bidang

• RecordedBefore — Stempel waktu.

  Stempel waktu sebelum statistik harus dimasukkan dalam hasil.

• RecordedAfter — Stempel waktu.

  Stempel waktu setelah statistik harus dimasukkan dalam hasil.

CreateDataQualityRulesetRequest struktur

Permintaan untuk membuat kumpulan aturan kualitas data.

Bidang

• Name — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama unik untuk kumpulan aturan kualitas data.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi aturan kualitas data.

• Ruleset- Diperlukan: string UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.

  Aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 128 byte.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak lebih dari 256 byte.

  Daftar tag yang diterapkan pada kumpulan aturan kualitas data.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Tabel target yang terkait dengan kumpulan aturan kualitas data.

• RecommendationRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID run unik untuk menjalankan rekomendasi.

• DataQualitySecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

• ClientToken — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Digunakan untuk idempotensi dan direkomendasikan untuk disetel ke ID acak (seperti UUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.

GetDataQualityRulesetResponse struktur

Mengembalikan respon ruleset kualitas data.

Bidang

• Name — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama ruleset.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi dari ruleset.

• Ruleset— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.

  Aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Nama dan nama database dari tabel target.

• CreatedOn — Stempel waktu.

  Sebuah stempel waktu. Waktu dan tanggal pembuatan aturan kualitas data ini.

• LastModifiedOn — Stempel waktu.

  Sebuah stempel waktu. Poin terakhir dalam waktu ketika aturan kualitas data ini dimodifikasi.

• RecommendationRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Ketika kumpulan aturan dibuat dari rekomendasi yang dijalankan, ID run ini dihasilkan untuk menghubungkan keduanya bersama-sama.

• DataQualitySecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

GetDataQualityResultResponse struktur

Respons untuk hasil kualitas data.

Bidang

• ResultId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID hasil unik untuk hasil kualitas data.

• ProfileId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Profil untuk hasil kualitas data.

• Score — Nomor (ganda), tidak lebih dari 1.0.

  Skor kualitas data agregat. Merupakan rasio aturan yang diteruskan ke jumlah total aturan.

• DataSource — Sebuah objek DataSource.

  Tabel yang terkait dengan hasil kualitas data, jika ada.

• RulesetName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama ruleset terkait dengan hasil kualitas data.

• EvaluationContext – String UTF-8.

  Dalam konteks pekerjaan di AWS Glue Studio, setiap node di kanvas biasanya diberi semacam nama dan node kualitas data akan memiliki nama. Dalam kasus beberapa node, evaluationContext dapat membedakan node.

• StartedOn — Stempel waktu.

  Tanggal dan waktu ketika proses untuk hasil kualitas data ini dimulai.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu ketika proses untuk hasil kualitas data ini selesai.

• JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama pekerjaan yang terkait dengan hasil kualitas data, jika ada.

• JobRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID job run terkait dengan hasil kualitas data, jika ada.

• RulesetEvaluationRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID run unik yang terkait dengan evaluasi ruleset.

• RuleResults— Sebuah array DataQualityRuleResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityRuleResult objek yang mewakili hasil untuk setiap aturan.

• AnalyzerResults— Sebuah array DataQualityAnalyzerResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityAnalyzerResult objek yang mewakili hasil untuk setiap analyzer.

• Observations — Susunan objek DataQualityObservation, tidak lebih dari 50 struktur.

  Daftar DataQualityObservation objek yang mewakili pengamatan yang dihasilkan setelah mengevaluasi aturan dan penganalisis.

StartDataQualityRuleRecommendationRunRequest struktur

Permintaan permintaan rekomendasi aturan Kualitas Data.

Bidang

• DataSource — Wajib: Sebuah objek DataSource.

  Sumber data (AWS Glue tabel) yang terkait dengan proses ini.

• Role – Wajib: String UTF-8.

  IAM Peran yang diberikan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• CreatedRulesetName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Sebuah nama untuk ruleset.

• DataQualitySecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

• ClientToken — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Digunakan untuk idempotensi dan direkomendasikan untuk disetel ke ID acak (seperti UUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.

GetDataQualityRuleRecommendationRunResponse struktur

Respons untuk rekomendasi aturan Kualitas Data dijalankan.

Bidang

• RunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

• DataSource — Sebuah objek DataSource.

  Sumber data ( AWS Glue tabel) yang terkait dengan proses ini.

• Role – String UTF-8.

  IAM Peran yang diberikan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• Status – String UTF-8 (nilai yang valid: RUNNING | FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING | CANCELED | RECEIVED_BY_TASKRUNNER).

  Status untuk eksekusi ini.

• ErrorString – String UTF-8.

  String kesalahan yang terkait dengan proses.

• StartedOn — Stempel waktu.

  Tanggal dan waktu kapan proses ini dimulai.

• LastModifiedOn — Stempel waktu.

  Sebuah stempel waktu. Poin terakhir saat rekomendasi aturan kualitas data ini dijalankan telah dimodifikasi.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu saat proses ini selesai.

• ExecutionTime — Nomor (bilangan bulat).

  Jumlah waktu (dalam detik) bahwa run mengkonsumsi sumber daya.

• RecommendedRuleset— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.

  Ketika proses rekomendasi aturan mulai selesai, itu membuat kumpulan aturan yang direkomendasikan (seperangkat aturan). Anggota ini memiliki aturan tersebut dalam format Data Quality Definition Language (DQDL).

• CreatedRulesetName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama ruleset yang dibuat oleh run.

• DataQualitySecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

BatchPutDataQualityStatisticAnnotation tindakan (Python: batch_put_data_quality_statistic_annotation)

Beri anotasi titik data dari waktu ke waktu untuk statistik kualitas data tertentu.

Permintaan

• InclusionAnnotations – Wajib: Susunan objek DatapointInclusionAnnotation.

  Sebuah daftarDatapointInclusionAnnotation.

• ClientToken — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Token Klien.

Respons

• FailedInclusionAnnotations – Susunan objek AnnotationError.

  Sebuah daftarAnnotationError.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• ResourceNumberLimitExceededException

GetDataQualityModel tindakan (Python: get_data_quality_model)

Ambil status pelatihan model bersama dengan informasi lebih lanjut (CompletedOn, StartedOn, FailureReason).

Permintaan

• StatisticId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Statistik.

• ProfileId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Profil.

Respons

• Status – String UTF-8 (nilai yang valid: RUNNING | SUCCEEDED | FAILED).

  Status pelatihan model kualitas data.

• StartedOn — Stempel waktu.

  Stempel waktu saat pelatihan model kualitas data dimulai.

• CompletedOn — Stempel waktu.

  Stempel waktu saat pelatihan model kualitas data selesai.

• FailureReason — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Alasan kegagalan pelatihan.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

GetDataQualityModelResult tindakan (Python: get_data_quality_model_result)

Ambil prediksi statistik untuk ID Profil tertentu.

Permintaan

• StatisticId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Statistik.

• ProfileId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Profil.

Respons

• CompletedOn — Stempel waktu.

  Stempel waktu saat pelatihan model kualitas data selesai.

• Model – Susunan objek StatisticModelResult.

  Daftar dari StatisticModelResult

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

ListDataQualityStatisticAnnotations tindakan (Python: list_data_quality_statistic_annotations)

Ambil anotasi untuk statistik kualitas data.

Permintaan

• StatisticId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Statistik.

• ProfileId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Profil.

• TimestampFilter — Sebuah objek TimestampFilter.

  Filter stempel waktu.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah maksimum hasil untuk dikembalikan dalam permintaan ini.

• NextToken – String UTF-8.

  Token pagination untuk mengambil set hasil berikutnya.

Respons

• Annotations – Susunan objek StatisticAnnotation.

  Daftar yang StatisticAnnotation diterapkan pada Statistik

• NextToken – String UTF-8.

  Token pagination untuk mengambil set hasil berikutnya.

Kesalahan

• InvalidInputException

• InternalServiceException

PutDataQualityProfileAnnotation tindakan (Python: put_data_quality_profile_annotation)

Anotasi semua titik data untuk Profil.

Permintaan

• ProfileId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID profil pemantauan kualitas data untuk membuat anotasi.

• InclusionAnnotation – Wajib: String UTF-8 (nilai yang valid: INCLUDE | EXCLUDE).

  Nilai anotasi inklusi untuk diterapkan ke profil.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException