DQDL 규칙 유형 참조

이 섹션에서는 AWS Glue 데이터 품질에서 지원하는 각 규칙 유형에 대한 참조를 제공합니다.

참고

• DQDL은 현재 중첩형 또는 목록형 열 데이터를 지원하지 않습니다.

• 아래 테이블의 괄호로 묶인 값은 규칙 인수에 제공된 정보로 대체됩니다.

• 규칙에는 일반적으로 표현식에 대한 추가 인수가 필요합니다.

Ruletype	설명	인수	보고된 지표	규칙으로 지원되나요?	분석기로 지원되나요?	행 수준 결과를 반환하나요?	동적 규칙이 지원되나요?	관찰 결과 생성	Where 절 구문을 지원합니까?
AggregateMatch	총 판매액과 같은 요약 지표를 비교하여 두 데이터 세트가 일치하는지 확인합니다. 금융 기관에서 모든 데이터가 소스 시스템에서 수집되었는지 비교할 때 유용합니다.	하나 이상의 집계	첫 번째 및 두 번째 집계 열 이름이 일치하는 경우: Column.[Column].AggregateMatch 첫 번째 및 두 번째 집계 열 이름이 다른 경우: Column.[Column1,Column2].AggregateMatch	예	아니요	아니요	아니요	아니요	아니요
AllStatistics	데이터 세트의 제공된 열에 대한 여러 지표를 수집하는 독립 실행형 분석기	단일 열 이름	모든 유형의 열에 적용됩니다. Dataset.*.RowCount Column.[Column].Completeness Column.[Column].Uniqueness 문자열 값 열에 대한 추가 지표: ColumnLength metrics 숫자 값 열에 대한 추가 지표: ColumnValues metrics	아니요	예	아니요	아니요	아니요	아니요
ColumnCorrelation	두 열의 상관 관계 수준을 확인합니다.	정확히 두 개의 열 이름	Multicolumn.[Column1,Column2].ColumnCorrelation	예	예	아니요	예	아니요	예
ColumnCount	삭제된 열이 있는지 확인합니다.	None	Dataset.*.ColumnCount	예	예	아니요	예	예	아니요
ColumnDataType	열이 데이터 형식을 준수하는지 확인합니다.	정확히 하나의 열 이름	Column.[Column].ColumnDataType.Compliance	예	아니요	아니요	예, 행 수준 임곗값 표현식에서	아니요	예
ColumnExists	데이터 세트에 열이 있는지 확인합니다. 이를 통해 고객은 특정 열을 사용할 수 있도록 셀프 서비스 데이터 플랫폼을 구축할 수 있습니다.	정확히 하나의 열 이름	N/A	예	아니요	아니요	아니요	아니요	아니요
ColumnLength	데이터 길이가 일관되는지 확인합니다.	정확히 하나의 열 이름	Column.[Column].MaximumLength Column.[Column].MinimumLength 행 수준 임곗값이 제공된 경우 추가 지표: Column.[Column].ColumnValues.Compliance	예	예	예, 행 수준 임곗값이 제공된 경우	아니요	예 최소 및 최대 길이를 분석하여 관찰 결과만 생성합니다.	예
ColumnNamesMatchPattern	열 이름이 정의된 패턴과 일치하는지 확인합니다. 거버넌스 팀이 열 이름의 일관성을 적용하는 데 유용합니다.	열 이름에 대한 정규식	Dataset.*.ColumnNamesPatternMatchRatio	예	아니요	아니요	아니요	아니요	아니요
ColumnValues	데이터가 정의된 값에 따라 일관되는지 확인합니다. 이 규칙은 정규식을 지원합니다.	정확히 하나의 열 이름	Column.[Column].Maximum Column.[Column].Minimum 행 수준 임곗값이 제공된 경우 추가 지표: Column.[Column].ColumnValues.Compliance	예	예	예, 행 수준 임곗값이 제공된 경우	아니요	예 최솟값 및 최댓값을 분석하여 관찰 결과만 생성합니다.	예
완전성	데이터에 공백 또는 NULL이 있는지 확인합니다.	정확히 하나의 열 이름	Column.[Column].Completeness	예	예	예	예	예	예
CustomSql	고객은 거의 모든 유형의 데이터 품질 검사를 SQL로 구현할 수 있습니다.	SQL 문 (선택 사항) 행 수준 임곗값	Dataset.*.CustomSQL 행 수준 임곗값이 제공된 경우 추가 지표: Dataset.*.CustomSQL.Compliance	예	아니요	예, 행 수준 임곗값이 제공된 경우	예	아니요	아니요
DataFreshness	데이터가 최신인지 확인합니다.	정확히 하나의 열 이름	Column.[Column].DataFreshness.Compliance	예	아니요	예	아니요	아니요	예
DatasetMatch	두 데이터 세트를 비교하여 두 데이터 세트가 동기화되었는지 확인합니다.	참조 데이터 세트 이름 열 매핑 (선택 사항) 일치하는 항목이 있는지 확인하는 열	Dataset.[ReferenceDatasetAlias].DatasetMatch	예	아니요	예	예	아니요	아니요
DistinctValuesCount	중복된 값이 있는지 확인합니다.	정확히 하나의 열 이름	Column.[Column].DistinctValuesCount	예	예	예	예	예	예
DetectAnomalies	다른 규칙 유형의 보고된 지표에서 이상이 있는지 확인합니다.	규칙 유형	규칙 유형 인수로 보고된 지표	예	아니요	아니요	아니요	아니요	아니요
Entropy	데이터의 엔트로피를 확인합니다.	정확히 하나의 열 이름	Column.[Column].Entropy	예	예	아니요	예	아니요	예
IsComplete	데이터가 100% 완전한지 확인합니다.	정확히 하나의 열 이름	Column.[Column].Completeness	예	아니요	예	아니요	아니요	예
IsPrimaryKey	열이 프라이머리 키(NULL이 아니고 고유함)인지 확인합니다.	정확히 하나의 열 이름	단일 열의 경우: Column.[Column].Uniqueness 여러 열의 경우: Multicolumn.[CommaDelimitedColumns].Uniqueness	예	아니요	예	아니요	아니요	예
IsUnique	데이터가 100% 고유한지 확인합니다.	정확히 하나의 열 이름	Column.[Column].Uniqueness	예	아니요	예	아니요	아니요	예
평균	평균이 설정된 임곗값과 일치하는지 확인합니다.	정확히 하나의 열 이름	Column.[Column].Mean	예	예	예	예	아니요	예
ReferentialIntegrity	두 데이터 세트에 참조 무결성이 있는지 확인합니다.	데이터 세트에서 하나 이상의 열 이름 참조 데이터 세트에서 가져온 하나 이상의 열 이름	Column.[ReferenceDatasetAlias].ReferentialIntegrity	예	아니요	예	예	아니요	아니요
RowCount	레코드 수가 임곗값과 일치하는지 확인합니다.	None	Dataset.*.RowCount	예	예	아니요	예	예	예
RowCountMatch	두 데이터 세트 사이에서 레코드 수가 일치하는지 확인합니다.	참조 데이터 세트 별칭	Dataset.[ReferenceDatasetAlias].RowCountMatch	예	아니요	아니요	예	아니요	아니요
StandardDeviation	표준 편차가 임곗값과 일치하는지 확인합니다.	정확히 하나의 열 이름	Column.[Column].StandardDeviation	예	예	예	예	아니요	예
SchemaMatch	두 데이터 세트 사이에서 스키마가 일치하는지 확인합니다.	참조 데이터 세트 별칭	Dataset.[ReferenceDatasetAlias].SchemaMatch	예	아니요	아니요	예	아니요	아니요
Sum	합계가 설정된 임곗값과 일치하는지 확인합니다.	정확히 하나의 열 이름	Column.[Column].Sum	예	예	아니요	예	아니요	예
Uniqueness	데이터 세트의 고유성이 임곗값과 일치하는지 확인합니다.	정확히 하나의 열 이름	Column.[Column].Uniqueness	예	예	예	예	아니요	예
UniqueValueRatio	고유 값 비율이 임곗값과 일치하는지 확인합니다.	정확히 하나의 열 이름	Column.[Column].UniqueValueRatio	예	예	예	예	아니요	예
FileFreshness	Amazon S3의 파일이 새 파일인지 확인합니다.	파일 또는 폴더 경로와 임계치.	Dataset.*.FileFreshness.Compliance Dataset.*.FileCount	예	아니요	아니요	아니요	아니요	아니요
FileMatch	파일 내용이 체크섬 또는 다른 파일과 일치하는지 확인합니다. 이 규칙은 체크섬을 사용하여 두 파일이 동일한지 검증합니다.	소스 파일 또는 폴더 경로와 대상 파일 또는 폴더 경로.	통계가 생성되지 않습니다.	예	아니요	아니요	아니요	아니요	아니요
FileSize	파일 크기가 지정된 조건과 일치하는지 확인합니다.	파일 또는 폴더 경로와 임계치.	Dataset.*.FileSize.Compliance Dataset.*.FileCount Dataset.*.MaximumFileSize Dataset.*.MinimumFileSize	예	아니요	아니요	아니요	아니요	아니요
FileUniqueness	체크섬을 사용하여 파일이 고유한지 확인합니다.	파일 또는 폴더 경로와 임계치.	Dataset.*.FileUniquenessRatio Dataset.*.FileCount	예	아니요	아니요	아니요	아니요	아니요

주제

• AggregateMatch

• ColumnCorrelation

• ColumnCount

• ColumnDataType

• ColumnExists

• ColumnLength

• ColumnNamesMatchPattern

• ColumnValues

• 완전성

• CustomSQL

• DataFreshness

• DatasetMatch

• DistinctValuesCount

• Entropy

• IsComplete

• IsPrimaryKey

• IsUnique

• Mean

• ReferentialIntegrity

• RowCount

• RowCountMatch

• StandardDeviation

• Sum

• SchemaMatch

• Uniqueness

• UniqueValueRatio

• DetectAnomalies

• FileFreshness

• FileMatch

• FileUniqueness

• FileSize