- 데이터 유형 -JobRun 이전 기록 JobBookmarkEntry BatchStopJobRunSuccessfulSubmission BatchStopJobRunError NotificationProperty - 작업 -StartJobRun (시작_작업_실행)BatchStopJobRun (배치_중지_작업_실행)GetJobRun (get_job_run)GetJobRuns (get_job_runs)GetJobBookmark (get_job_bookmark)GetJobBookmarks (get_job_bookmark)ResetJobBookmark (작업_북마크 재설정)

작업 실행

작업 API 실행에서는 데이터 유형과 작업 실행 시작, 중지 또는 보기, 작업 북마크 재설정과 API 관련된 데이터 유형을 설명합니다. AWS Glue. 워크플로우 및 작업 실행에 대한 작업 실행 기록은 90일 동안 액세스할 수 있습니다.

JobRun 구조

작업 실행에 관한 정보를 포함합니다.

필드

Id— UTF -8 문자열, 길이가 1바이트 이상 또는 255바이트 이상이어야 하며 다음과 일치합니다. Single-line string pattern

이 작업 실행의 ID.
Attempt - 숫자(정수)입니다.

이 작업을 실행하고자 시도했던 수입니다.
PreviousRunId— UTF 일치하는 -8 문자열, 길이가 1바이트 이상 또는 255바이트 이상이어야 합니다. Single-line string pattern

이 작업의 이전 실행 ID입니다. 예를 들어 StartJobRun 작업에 지정된 JobRunId입니다.
TriggerName— UTF 일치하는 -8 문자열, 길이가 1바이트 이상 또는 255바이트 이상이어야 합니다. Single-line string pattern

이 작업을 시작한 트리거의 이름입니다.
JobName— UTF 일치하는 -8 문자열, 길이가 1바이트 이상 또는 255바이트 이상이어야 합니다. Single-line string pattern

이 작업에 사용된 작업 정의 이름입니다.
JobMode— UTF -8 문자열 (유효한 값: SCRIPT="" | |). VISUAL="" NOTEBOOK=""

작업이 생성된 방법을 설명하는 모드입니다. 유효한 값은 다음과 같습니다.
- SCRIPT- 다음을 사용하여 작업이 생성되었습니다. AWS Glue 스튜디오 스크립트 에디터.
- VISUAL- 를 사용하여 작업을 생성했습니다. AWS Glue 스튜디오 비주얼 에디터.
- NOTEBOOK - 대화형 세션 노트북을 사용하여 작업을 생성했습니다.
JobMode 필드가 없거나 null인 경우 기본값으로 SCRIPT가 할당됩니다.
JobRunQueuingEnabled – 부울입니다.

해당 작업 실행에 대해 작업 실행 대기열을 활성화할지 여부를 지정합니다.

값이 true이면 해당 작업 실행에 대해 작업 실행 큐가 활성화됩니다. false이거나 채워지지 않은 경우 작업 실행은 대기열에 포함되는 것으로 간주되지 않습니다.
StartedOn – 타임스탬프입니다.

이 작업이 시작된 날짜 및 시간.
LastModifiedOn – 타임스탬프입니다.

이 작업 실행이 수정된 마지막 시간입니다.
CompletedOn – 타임스탬프입니다.

이 작업 실행이 완료된 날짜 및 시간입니다.
JobRunState— UTF -8 문자열 (유효한 값: STARTING | | | RUNNING | STOPPING | | STOPPED | SUCCEEDED | FAILED | TIMEOUT | ERROR | WAITING |EXPIRED).

작업 실행의 현재 상태입니다. 비정상적으로 종료된 작업의 상태에 대한 자세한 내용은 을 참조하십시오. AWS Glue Job Run 상태.
Arguments – 키-값 페어의 맵 배열입니다.

각 키는 UTF -8 문자열입니다.

각 값은 UTF -8 문자열입니다.

작업과 연결되어 있는 작업 인수입니다. 이 작업 실행에서 작업 정의 자체에 설정된 기본 인수를 바꿉니다.

작업 실행 스크립트에서 사용하는 인수와 다음과 같은 인수를 여기에 지정할 수 있습니다. AWS Glue 자체적으로 소모됩니다.

작업 인수가 로깅될 수 있습니다. 일반 텍스트 보안 암호를 인수로 전달하지 마세요. a에서 비밀을 찾아내십시오. AWS Glue 연결, AWS Secrets Manager 또는 기타 비밀 관리 메커니즘 (Job 내에 보관하려는 경우).

자체 Job 인수를 지정하고 사용하는 방법에 대한 자세한 내용은 호출을 참조하십시오. AWS Glue APIs개발자 안내서의 Python 주제에서.

Spark 작업을 구성할 때 이 필드에 제공할 수 있는 인수에 대한 자세한 내용은 에서 사용하는 특수 매개 변수를 참조하십시오. AWS Glue개발자 안내서의 주제.

Ray 작업을 구성할 때 이 필드에 제공할 수 있는 인수에 대한 자세한 내용은 개발자 안내서의 Ray 작업에서 작업 파라미터 사용을 참조하세요.
ErrorMessage— UTF -8 문자열.

이 작업의 실행과 연결된 오류 메시지입니다.
PredecessorRuns – 이전 기록 객체의 배열입니다.

이 작업을 실행하기 이전의 기록입니다.
AllocatedCapacity - 숫자(정수)입니다.

이 필드는 더 이상 사용되지 않습니다. 대신 MaxCapacity을 사용하세요.

의 개수 AWS Glue 여기에 할당된 데이터 처리 장치 (DPUs) JobRun. 2개에서 100개까지 DPUs 할당할 수 있으며 기본값은 10입니다. DPUA는 4% 의 컴퓨팅 파워와 16GB의 메모리로 구성된 상대적 처리 능력 측정값입니다. vCPUs 자세한 내용은 단원을 참조하십시오.AWS Glue 가격 페이지.
ExecutionTime - 숫자(정수)입니다.

이 작업이 리소스를 소비한 시간(초).
Timeout – 1 이상의 숫자(정수)입니다.

JobRun 제한 시간(분)입니다. 작업을 실행하여 리소스를 소비하여 중지되기 전에 TIMEOUT 상태로 들어가는 최대 시간입니다. 이 값은 상위 작업에 설정된 제한 시간 값을 재정의합니다.

스트리밍 작업의 시간 제한 값은 7일 또는 10,080분 미만이어야 합니다. 값을 비워 두면 유지 관리 기간을 설정하지 않았다고 가정하고 7일 후에 작업이 다시 시작됩니다. 유지 관리 기간을 설정한 경우 7일 후 유지 관리 기간 중에 작업이 다시 시작됩니다.
MaxCapacity - 숫자(double)입니다.

Glue 버전 1.0 이하 작업의 경우 표준 작업자 유형을 사용하는 경우, 개수는 AWS Glue 이 작업을 실행할 때 할당할 수 있는 데이터 처리 장치 (DPUs). DPUA는 4% 의 컴퓨팅 파워와 16GB의 메모리로 구성된 상대적 처리 능력 측정값입니다. vCPUs 자세한 내용은 단원을 참조하십시오.AWS Glue 가격 페이지.

Glue 버전 2.0 이상 작업의 경우 Maximum capacity를 지정할 수 없습니다. 그 대신 Worker type 및 Number of workers를 지정해야 합니다.

WorkerType 및 NumberOfWorkers를 사용하는 경우, MaxCapacity를 설정하지 마십시오.

할당할 수 있는 값은 Python 셸 작업을 실행하는지, Apache Spark 작업을 실행하는지, Apache Spark 스트리밍 ETL 작업을 실행하는지에 MaxCapacity 따라 달라집니다. ETL
- Python 셸 작업 (JobCommand.Name="pythonshell”) 을 지정할 때 0.0625 또는 1을 할당할 수 있습니다. DPU DPU기본값은 0.0625입니다.
- 아파치 스파크 ETL 작업 (JobCommand.Name="glueetl”) 또는 아파치 스파크 스트리밍 ETL 작업 (JobCommand.Name="gluestreaming”) 을 지정할 때 2에서 100까지 할당할 수 있습니다. DPUs 기본값은 10입니다DPUs. 이 작업 유형에는 부분 DPU 할당이 포함될 수 없습니다.
WorkerType— UTF -8 문자열 (유효한 값: Standard="" | | | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

작업이 실행될 때 할당되는 미리 정의된 작업자 유형입니다. Spark 작업에 대해 G.1X, G.2X, G.4X, G.8X 또는 G.025X의 값을 허용합니다. Ray 작업에 대해 Z.2X 값을 허용합니다.
- G.1X작업자 유형의 경우 각 워커는 84GB 디스크 DPU (약 34GB 여유 공간) 와 함께 1 (4vCPUs, 16GB 메모리) 에 매핑되며 작업자당 실행자 1개를 제공합니다. 대부분의 작업을 실행할 수 있는 확장 가능하고 비용 효율적인 방법을 제공하기 위해 데이터 변환, 조인, 쿼리와 같은 워크로드에서 이 작업자 유형을 사용하는 것이 좋습니다.
- G.2X작업자 유형의 경우 각 작업자는 128GB 디스크 DPU (약 77GB 여유 공간) 가 있는 2 (8vCPUs, 32GB 메모리) 에 매핑되며 작업자당 실행자 1개를 제공합니다. 대부분의 작업을 실행할 수 있는 확장 가능하고 비용 효율적인 방법을 제공하기 위해 데이터 변환, 조인, 쿼리와 같은 워크로드에서 이 작업자 유형을 사용하는 것이 좋습니다.
- G.4X작업자 유형의 경우 각 작업자는 256GB 디스크 DPU (약 235GB 여유 공간) 가 있는 4 (16vCPUs, 64GB 메모리) 에 매핑되며 작업자당 실행자 1개를 제공합니다. 워크로드에 가장 까다로운 변환, 집계, 조인 및 쿼리가 포함된 작업에서 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 다음과 같은 경우에만 사용할 수 있습니다. AWS Glue 버전 3.0 이상의 Spark ETL 작업은 다음과 같습니다. AWS 지역: 미국 동부 (오하이오), 미국 동부 (버지니아 북부), 미국 서부 (오레곤), 아시아 태평양 (싱가포르), 아시아 태평양 (시드니), 아시아 태평양 (도쿄), 캐나다 (중부), 유럽 (프랑크푸르트), 유럽 (아일랜드), 유럽 (스톡홀름).
- G.8X작업자 유형의 경우 각 작업자는 512GB 디스크 DPU (약 487GB 여유 공간) 가 있는 8 (32vCPUs, 128GB 메모리) 에 매핑되며 작업자당 하나의 실행자를 제공합니다. 워크로드에 가장 까다로운 변환, 집계, 조인 및 쿼리가 포함된 작업에서 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 다음과 같은 경우에만 사용할 수 있습니다. AWS Glue 버전 3.0 이상의 Spark ETL 작업, 동일한 경우 AWS G.4X작업자 유형에 지원되는 지역.
- G.025X작업자 유형의 경우 각 작업자는 84GB 디스크 DPU (약 34GB 사용 가능) 와 함께 0.25 (2vCPUs, 4GB 메모리) 에 매핑되며 작업자당 실행자 1개를 제공합니다. 볼륨이 낮은 스트리밍 작업에 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 다음과 같은 경우에만 사용할 수 있습니다. AWS Glue 버전 3.0 스트리밍 작업.
- Z.2X작업자 유형의 경우 각 작업자는 128GB 디스크 DPU (약 120GB의 여유 공간) 가 있는 2M- (8vCPUs, 64GB 메모리) 에 매핑되고 자동 확장 처리를 기반으로 최대 8개의 Ray 작업자를 제공합니다.
NumberOfWorkers - 숫자(정수)입니다.

작업이 실행될 때 할당되는 정의된 workerType의 작업자 수입니다.
SecurityConfiguration— 1바이트 이상 또는 255바이트 이상의 UTF -8문자열로, 다음과 일치해야 합니다. Single-line string pattern

이 작업 실행에 사용할 SecurityConfiguration 구조의 이름입니다.
LogGroupName— -8 문자열UTF.

Amazon에서 다음을 사용하여 서버 측에서 암호화할 수 있는 보안 로깅용 로그 그룹의 이름 CloudWatch AWS KMS. 이 이름은 일 수 있으며/aws-glue/jobs/, 이 경우 기본 암호화는 입니다NONE. 역할 이름과 SecurityConfiguration 이름(즉, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/)을 추가하면 로그 그룹 암호화에 이 보안 구성이 사용됩니다.
NotificationProperty – NotificationProperty 객체입니다.

작업 실행 알림의 구성 속성을 지정합니다.
GlueVersion— UTF -8 문자열로, 1바이트 이상 또는 255바이트 이상이어야 하며 다음과 일치해야 합니다. Custom string pattern #20

Spark 작업에서 다음과 같은 아파치 Spark 및 Python 버전을 GlueVersion 결정합니다. AWS Glue 작업에서 사용할 수 있습니다. Python의 버전으로 Spark 유형의 작업에 대해 지원되는 버전을 확인할 수 있습니다.

Ray 작업에서는 GlueVersion을 4.0 이상으로 설정해야 합니다. 그러나 Ray 작업에서 사용할 수 있는 Ray, Python 및 추가 라이브러리의 버전은 Job 명령의 Runtime 파라미터에 의해 결정됩니다.

이용 가능 여부에 대한 자세한 내용은 AWS Glue 버전과 해당 Spark 및 Python 버전은 개발자 안내서의 Glue 버전을 참조하십시오.

Glue 버전 지정 없이 생성된 작업은 Glue 0.9로 기본 지정됩니다.
DPUSeconds - 숫자(double)입니다.

이 필드는 실행 FLEX 클래스와 함께 실행되거나 Auto Scaling이 활성화된 작업에 대해 설정할 수 있으며, 작업 실행 수명 주기 동안 각 실행자가 실행한 총 시간 (초) 에 DPU 계수 (1G.1X, 2 또는 작업자의 경우 0.25) 를 곱한 값을 나타냅니다. G.2X G.025X 이 값은 Auto Scaling 작업의 경우처럼 executionEngineRuntime * MaxCapacity와 다를 수 있습니다. 지정된 시간에 실행 중인 실행기 수가 MaxCapacity보다 작을 수 있기 때문입니다. 따라서, DPUSeconds 값이 executionEngineRuntime * MaxCapacity보다 작을 수 있습니다.
ExecutionClass— UTF -8 문자열, 길이 16바이트 이하 (유효한 값: |). FLEX="" STANDARD=""

작업이 표준 또는 유연한 실행 클래스로 실행되는지 여부를 나타냅니다. 표준 실행 클래스는 빠른 작업 시작 및 전용 리소스가 필요한 시간에 민감한 워크로드에 적합합니다.

유연한 실행 클래스는 시작 및 완료 시간이 다를 수 있는 시간에 민감하지 않은 작업에 적합합니다.

다음과 같은 작업만 AWS Glue 버전 3.0 이상 및 명령 유형을 glueetl ExecutionClass 로 설정할 수 FLEX 있습니다. 유연한 실행 클래스는 Spark 작업에 사용할 수 있습니다.
MaintenanceWindow— UTF 와 일치하는 -8 문자열. Custom string pattern #30

이 필드는 스트리밍 작업의 유지 관리 기간의 요일 및 시간을 지정합니다. AWS Glue 정기적으로 유지 관리 활동을 수행합니다. 이러한 유지 관리 기간 동안 AWS Glue 스트리밍 작업을 다시 시작해야 합니다.

AWS Glue 지정된 유지 관리 기간으로부터 3시간 이내에 작업을 다시 시작합니다. 예를 들어 유지 관리 기간을 월요일 오전 10시로 설정하면 작업이 오전 GMT 10시에서 오후 1시 사이에 다시 시작됩니다. GMT GMT
ProfileName— UTF 다음과 일치하는 -8 문자열, 1바이트 이상 또는 255바이트 이상 Single-line string pattern

의 이름 AWS Glue 작업 실행과 관련된 사용 프로필.
StateDetail— UTF -8 문자열, 길이 400000바이트 이하

이 필드에는 작업 실행 상태와 관련된 세부 정보가 들어 있습니다. 이 필드는 null을 사용할 수 없습니다.

예를 들어, 작업 실행 큐의 결과로 작업 실행이 특정 WAITING 상태에 있는 경우 필드에는 작업 실행이 해당 상태인 이유가 표시됩니다.

이전 구조

이 작업을 실행할 수 있도록 조건적 트리거를 조건으로 한 작업입니다.

필드

JobName— UTF 일치하는 -8 문자열, 1바이트 이상 또는 255바이트 이상 Single-line string pattern

이 이전 작업에 사용된 작업 정의 이름입니다.
RunId— UTF 일치하는 -8 문자열, 길이가 1바이트 이상 또는 255바이트 이상이어야 합니다. Single-line string pattern

이 작업의 이전 작업 실행 ID입니다.

JobBookmarkEntry 구조

작업이 프로세싱을 다시 시작할 수 있는 포인트를 정의합니다.

필드

JobName— UTF -8 문자열.

문제의 작업 이름입니다.
Version - 숫자(정수)입니다.

작업의 버전입니다.
Run - 숫자(정수)입니다.

실행 ID 숫자입니다.
Attempt - 숫자(정수)입니다.

시도 ID 숫자입니다.
PreviousRunId— UTF -8 문자열.

이전의 작업 실행과 연결된 고유의 실행 식별자입니다.
RunId— UTF -8 문자열.

실행 ID 숫자입니다.
JobBookmark— UTF -8 문자열.

그 자체를 즐겨찾습니다.

BatchStopJobRunSuccessfulSubmission 구조

지정된 JobRun을 중지한 성공적인 요청을 기록합니다.

필드

JobName— UTF -8 문자열, 길이가 1바이트 이상 또는 255바이트 이상이어야 하며 다음과 일치합니다. Single-line string pattern

이 작업이 중지된 작업 정의 이름입니다.
JobRunId— UTF 일치하는 -8 문자열, 길이가 1바이트 이상 또는 255바이트 이상이어야 합니다. Single-line string pattern

중지된 작업 실행의 JobRunId입니다.

BatchStopJobRunError 구조

지정된 작업을 중지하고자 할 때 발생하는 오류를 기록합니다.

필드

JobName— UTF -8 문자열, 길이가 1바이트 이상 또는 255바이트 이상이어야 하며 다음과 일치합니다. Single-line string pattern

문제의 작업 실행에 사용된 작업 정의 이름입니다.
JobRunId— UTF 일치하는 -8 문자열, 길이가 1바이트 이상 또는 255바이트 이상이어야 합니다. Single-line string pattern

문제의 작업 실행 JobRunId입니다.
ErrorDetail – ErrorDetail 객체입니다.

발생한 오류에 대한 추가 세부 정보를 지정합니다.

NotificationProperty 구조

알림의 구성 속성을 지정합니다.

필드

NotifyDelayAfter – 1 이상의 숫자(정수)입니다.

작업 실행 시작 후 작업 실행 대기 알림을 전송하기 전까지 대기하는 시간(분)입니다.

운영

StartJobRun 액션 (Python: 시작_작업_실행)
BatchStopJobRun 액션 (Python: 배치_중지_작업_실행)
GetJobRun 액션 (파이썬: get_job_run)
GetJobRuns 액션 (파이썬: get_job_runs)
GetJobBookmark 액션 (파이썬: get_job_bookmark)
GetJobBookmarks 액션 (Python: get_job_bookmark)
ResetJobBookmark 액션 (Python: reset_job_bookmark)

StartJobRun 액션 (Python: 시작_작업_실행)

작업 정의를 사용한 작업 시작하기

요청

JobName— 필수: UTF -8 문자열로, 1바이트 이상 또는 255바이트 이상이어야 하며 다음과 일치해야 합니다. Single-line string pattern

사용할 작업 정의의 이름입니다.
JobRunQueuingEnabled – 부울입니다.

해당 작업 실행에 대해 작업 실행 대기열을 활성화할지 여부를 지정합니다.

값이 true이면 해당 작업 실행에 대해 작업 실행 큐가 활성화됩니다. false이거나 채워지지 않은 경우 작업 실행은 대기열에 포함되는 것으로 간주되지 않습니다.
JobRunId— UTF 다음과 일치하는 -8개의 문자열, 1바이트 이상 또는 255바이트 이상 Single-line string pattern

재시도할 이전 JobRun의 ID입니다.
Arguments – 키-값 페어의 맵 배열입니다.

각 키는 -8 문자열입니다. UTF

각 값은 UTF -8 문자열입니다.

작업과 연결되어 있는 작업 인수입니다. 이 작업 실행에서 작업 정의 자체에 설정된 기본 인수를 바꿉니다.

작업 실행 스크립트에서 사용하는 인수와 다음과 같은 인수를 여기에 지정할 수 있습니다. AWS Glue 자체적으로 소모됩니다.

작업 인수가 로깅될 수 있습니다. 일반 텍스트 보안 암호를 인수로 전달하지 마세요. a에서 비밀을 찾아내십시오. AWS Glue 연결, AWS Secrets Manager 또는 기타 비밀 관리 메커니즘 (Job 내에 보관하려는 경우).

자체 Job 인수를 지정하고 사용하는 방법에 대한 자세한 내용은 호출을 참조하십시오. AWS Glue APIs개발자 안내서의 Python 주제에서.

Spark 작업을 구성할 때 이 필드에 제공할 수 있는 인수에 대한 자세한 내용은 에서 사용하는 특수 매개 변수를 참조하십시오. AWS Glue개발자 안내서의 주제.

Ray 작업을 구성할 때 이 필드에 제공할 수 있는 인수에 대한 자세한 내용은 개발자 안내서의 Ray 작업에서 작업 파라미터 사용을 참조하세요.
AllocatedCapacity - 숫자(정수)입니다.

이 필드는 더 이상 사용되지 않습니다. 대신 MaxCapacity을 사용하세요.

개수: AWS Glue 여기에 JobRun 할당할 데이터 처리 장치 (DPUs). 최소 2개를 할당할 수 있으며 기본값은 10입니다DPUs. DPUA는 4% 의 컴퓨팅 파워와 16GB의 메모리로 구성된 상대적 처리 능력 측정값입니다. vCPUs 자세한 내용은 단원을 참조하십시오.AWS Glue 가격 페이지.
Timeout – 1 이상의 숫자(정수)입니다.

JobRun 제한 시간(분)입니다. 작업을 실행하여 리소스를 소비하여 중지되기 전에 TIMEOUT 상태로 들어가는 최대 시간입니다. 이 값은 상위 작업에 설정된 제한 시간 값을 재정의합니다.

스트리밍 작업의 시간 제한 값은 7일 또는 10,080분 미만이어야 합니다. 값을 비워 두면 유지 관리 기간을 설정하지 않았다고 가정하고 7일 후에 작업이 다시 시작됩니다. 유지 관리 기간을 설정한 경우 7일 후 유지 관리 기간 중에 작업이 다시 시작됩니다.
MaxCapacity - 숫자(double)입니다.

Glue 버전 1.0 이하 작업의 경우 표준 작업자 유형을 사용하는 경우, 개수는 AWS Glue 이 작업을 실행할 때 할당할 수 있는 데이터 처리 장치 (DPUs). DPUA는 4% 의 컴퓨팅 파워와 16GB의 메모리로 구성된 상대적 처리 능력 측정값입니다. vCPUs 자세한 내용은 단원을 참조하십시오.AWS Glue 가격 페이지.

Glue 버전 2.0 이상 작업의 경우 Maximum capacity를 지정할 수 없습니다. 그 대신 Worker type 및 Number of workers를 지정해야 합니다.

WorkerType 및 NumberOfWorkers를 사용하는 경우, MaxCapacity를 설정하지 마십시오.

할당할 수 있는 값은 Python 셸 작업을 실행하는지, Apache Spark 작업을 실행하는지, Apache Spark 스트리밍 ETL 작업을 실행하는지에 MaxCapacity 따라 달라집니다. ETL
- Python 셸 작업 (JobCommand.Name="pythonshell”) 을 지정할 때 0.0625 또는 1을 할당할 수 있습니다. DPU DPU기본값은 0.0625입니다.
- 아파치 스파크 ETL 작업 (JobCommand.Name="glueetl”) 또는 아파치 스파크 스트리밍 ETL 작업 (JobCommand.Name="gluestreaming”) 을 지정할 때 2에서 100까지 할당할 수 있습니다. DPUs 기본값은 10입니다DPUs. 이 작업 유형에는 부분 DPU 할당이 포함될 수 없습니다.
SecurityConfiguration— 와 UTF 일치하는 -8 문자열, 1바이트 이상 또는 255바이트 이상 Single-line string pattern

이 작업 실행에 사용할 SecurityConfiguration 구조의 이름입니다.
NotificationProperty – NotificationProperty 객체입니다.

작업 실행 알림의 구성 속성을 지정합니다.
WorkerType— UTF -8 문자열 (유효한 값: Standard="" | | | | | G.1X="" | G.2X="" G.025X="" |G.4X=""). G.8X="" Z.2X=""

작업이 실행될 때 할당되는 미리 정의된 작업자 유형입니다. Spark 작업에 대해 G.1X, G.2X, G.4X, G.8X 또는 G.025X의 값을 허용합니다. Ray 작업에 대해 Z.2X 값을 허용합니다.
- G.1X작업자 유형의 경우 각 워커는 84GB 디스크 DPU (약 34GB 여유 공간) 와 함께 1 (4vCPUs, 16GB 메모리) 에 매핑되며 작업자당 실행자 1개를 제공합니다. 대부분의 작업을 실행할 수 있는 확장 가능하고 비용 효율적인 방법을 제공하기 위해 데이터 변환, 조인, 쿼리와 같은 워크로드에서 이 작업자 유형을 사용하는 것이 좋습니다.
- G.2X작업자 유형의 경우 각 작업자는 128GB 디스크 DPU (약 77GB 여유 공간) 가 있는 2 (8vCPUs, 32GB 메모리) 에 매핑되며 작업자당 실행자 1개를 제공합니다. 대부분의 작업을 실행할 수 있는 확장 가능하고 비용 효율적인 방법을 제공하기 위해 데이터 변환, 조인, 쿼리와 같은 워크로드에서 이 작업자 유형을 사용하는 것이 좋습니다.
- G.4X작업자 유형의 경우 각 작업자는 256GB 디스크 DPU (약 235GB 여유 공간) 가 있는 4 (16vCPUs, 64GB 메모리) 에 매핑되며 작업자당 실행자 1개를 제공합니다. 워크로드에 가장 까다로운 변환, 집계, 조인 및 쿼리가 포함된 작업에서 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 다음과 같은 경우에만 사용할 수 있습니다. AWS Glue 버전 3.0 이상의 Spark ETL 작업은 다음과 같습니다. AWS 지역: 미국 동부 (오하이오), 미국 동부 (버지니아 북부), 미국 서부 (오레곤), 아시아 태평양 (싱가포르), 아시아 태평양 (시드니), 아시아 태평양 (도쿄), 캐나다 (중부), 유럽 (프랑크푸르트), 유럽 (아일랜드), 유럽 (스톡홀름).
- G.8X작업자 유형의 경우 각 작업자는 512GB 디스크 DPU (약 487GB 여유 공간) 가 있는 8 (32vCPUs, 128GB 메모리) 에 매핑되며 작업자당 하나의 실행자를 제공합니다. 워크로드에 가장 까다로운 변환, 집계, 조인 및 쿼리가 포함된 작업에서 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 다음과 같은 경우에만 사용할 수 있습니다. AWS Glue 버전 3.0 이상의 Spark ETL 작업, 동일한 경우 AWS G.4X작업자 유형에 지원되는 지역.
- G.025X작업자 유형의 경우 각 작업자는 84GB 디스크 DPU (약 34GB 사용 가능) 와 함께 0.25 (2vCPUs, 4GB 메모리) 에 매핑되며 작업자당 실행자 1개를 제공합니다. 볼륨이 낮은 스트리밍 작업에 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 다음과 같은 경우에만 사용할 수 있습니다. AWS Glue 버전 3.0 스트리밍 작업.
- Z.2X작업자 유형의 경우 각 작업자는 128GB 디스크 DPU (약 120GB의 여유 공간) 가 있는 2M- (8vCPUs, 64GB 메모리) 에 매핑되고 자동 확장 처리를 기반으로 최대 8개의 Ray 작업자를 제공합니다.
NumberOfWorkers - 숫자(정수)입니다.

작업이 실행될 때 할당되는 정의된 workerType의 작업자 수입니다.
ExecutionClass— 16바이트를 넘지 않는 UTF -8 문자열 (유효한 값: |). FLEX="" STANDARD=""

작업이 표준 또는 유연한 실행 클래스로 실행되는지 여부를 나타냅니다. 표준 실행 클래스는 빠른 작업 시작 및 전용 리소스가 필요한 시간에 민감한 워크로드에 적합합니다.

유연한 실행 클래스는 시작 및 완료 시간이 다를 수 있는 시간에 민감하지 않은 작업에 적합합니다.

다음과 같은 작업만 AWS Glue 버전 3.0 이상 및 명령 유형을 glueetl ExecutionClass 로 설정할 수 FLEX 있습니다. 유연한 실행 클래스는 Spark 작업에 사용할 수 있습니다.
ProfileName— UTF 다음과 일치하는 -8 문자열, 1바이트 이상 또는 255바이트 이상 Single-line string pattern

의 이름 AWS Glue 작업 실행과 관련된 사용 프로필.

응답

JobRunId— 와 UTF 일치하는 -8 문자열, 길이가 1바이트 이상 또는 255바이트 이상이어야 합니다. Single-line string pattern

이 작업 실행에 할당된 ID.

Errors

InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
ResourceNumberLimitExceededException
ConcurrentRunsExceededException

BatchStopJobRun 액션 (Python: 배치_중지_작업_실행)

지정된 작업을 정의하기 위해서 하나 이상의 작업을 중지합니다.

요청

JobName— 필수: UTF -8 문자열로, 1바이트 이상 또는 255바이트 이상이어야 하며 다음과 일치해야 합니다. Single-line string pattern

작업이 실행되지 않고 중지하기 위한 작업 정의 이름입니다.
JobRunIds— 필수: 1개 또는 25개 이상의 문자열로 구성된 UTF -8개 문자열 배열.

이 작업을 정의하기 위해서 중지되어야 하는 JobRunIds의 목록입니다.

응답

SuccessfulSubmissions – BatchStopJobRunSuccessfulSubmission 객체의 배열입니다.

중지를 위해 성공적으로 제출된 목록. JobRuns
Errors – BatchStopJobRunError 객체의 배열입니다.

JobRuns를 중지할 때 발생하는 오류 목록은 오류에 대한 상세 정보와 함께 각 오류가 발생한 JobRunId를 포함합니다.

Errors

InvalidInputException
InternalServiceException
OperationTimeoutException

GetJobRun 액션 (파이썬: get_job_run)

작업 실행 시 메타데이터 가져오기 워크플로 및 작업 실행의 경우 작업 실행 기록을 90일 동안 액세스할 수 있습니다.

요청

JobName— 필수: UTF -8 문자열로, 1바이트 이상 또는 255바이트 이상이어야 하며 다음과 일치해야 합니다. Single-line string pattern

실행 중인 작업 정의의 이름입니다.
RunId— 필수: 다음과 UTF 일치하는 -8개의 문자열, 1바이트 이상 또는 255바이트 이상 Single-line string pattern

이 작업 실행의 ID.
PredecessorsIncluded – 부울입니다.

이전 작업 실행 목록이 반환되어야 하면 True입니다.

응답

JobRun – JobRun 객체입니다.

요청한 작업 실행 메타데이터.

Errors

InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException

GetJobRuns 액션 (파이썬: get_job_runs)

주어진 작업 정의의 모든 실행 시 메타데이터 가져오기

GetJobRuns가장 최근 작업이 먼저 반환된 상태로 작업 실행을 시간순으로 반환합니다.

요청

JobName— 필수: 와 일치하는 UTF -8 문자열, 1바이트 이상 또는 255바이트 이상 Single-line string pattern

모든 작업을 실행하기 위한 작업 정의 이름입니다.
NextToken— -8 문자열UTF.

이것이 지속적으로 호출되면 지속적인 토큰입니다.
MaxResults - 1 이상 200 이하의 숫자(정수)입니다.

응답의 최대 크기입니다.

응답

JobRuns – JobRun 객체의 배열입니다.

작업 실행 메타데이터 객체의 목록입니다.
NextToken— UTF -8 문자열.

요청된 모든 작업 실행이 반환하지 않은 경우의 지속 토큰입니다.

Errors

InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException

GetJobBookmark 액션 (파이썬: get_job_bookmark)

작업 북마크 항목에 대한 정보를 반환합니다.

작업 북마크에 대한 자세한 내용을 알아보려면 다음을 참조하세요.

요청

JobName— 필수: UTF -8 문자열.

문제의 작업 이름입니다.
Version - 숫자(정수)입니다.

작업의 버전입니다.
RunId— UTF -8 문자열.

이 작업 실행과 연결된 고유의 실행 식별자입니다.

응답

JobBookmarkEntry – JobBookmarkEntry 객체입니다.

작업이 처리를 다시 시작할 수 있는 포인트를 정의하는 구조입니다.

Errors

EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
ValidationException

GetJobBookmarks 액션 (Python: get_job_bookmark)

작업 북마크 항목에 대한 정보를 반환합니다. 목록은 버전 번호가 감소되는 순서로 정렬됩니다.

작업 북마크에 대한 자세한 내용을 알아보려면 다음을 참조하세요.

요청

JobName— 필수: UTF -8 문자열.

문제의 작업 이름입니다.
MaxResults - 숫자(정수)입니다.

응답의 최대 크기입니다.
NextToken - 숫자(정수)입니다.

이것이 지속적으로 호출되면 지속적인 토큰입니다.

응답

JobBookmarkEntries – JobBookmarkEntry 객체의 배열입니다.

작업이 처리를 다시 시작할 수 있는 포인트를 정의하는 작업 북마크 항목의 목록입니다.
NextToken - 숫자(정수)입니다.

모든 항목이 반환된 경우에는 1, 요청된 작업 실행 중 일부가 반환되지 않은 경우 1보다 큰 값이 있는 연속 토큰입니다.

Errors

InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException

ResetJobBookmark 액션 (Python: reset_job_bookmark)

북마크 입력 재설정

작업 북마크에 대한 자세한 내용을 알아보려면 다음을 참조하세요.

요청

JobName— 필수: UTF -8 문자열.

문제의 작업 이름입니다.
RunId— UTF -8 문자열.

이 작업 실행과 연결된 고유의 실행 식별자입니다.

응답

JobBookmarkEntry – JobBookmarkEntry 객체입니다.

북마크 입력 재설정

Errors

EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

작업

트리거