- 데이터 유형 -세션 SessionCommand 문 StatementOutput StatementOutputData ConnectionsList - 작업 -CreateSession (생성_세션)StopSession (스톱_세션)DeleteSession (세션 삭제)GetSession (get_session)ListSessions (목록_세션)RunStatement (실행_명령문)CancelStatement (취소_진술)GetStatement (get_statement)ListStatements (목록_명령문)

대화형 세션 API

대화형 세션 API는 대화형 세션을 사용하여 AWS Glue 데이터 통합을 위한 ETL (추출, 변환, 로드) 스크립트를 빌드하고 테스트하는 것과 관련된 AWS Glue API를 설명합니다.

세션 구조

원격 Spark 런타임 환경이 실행되는 기간입니다.

필드

Id – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

세션의 ID입니다.
CreatedOn – 타임스탬프입니다.

세션이 생성된 시간 및 날짜입니다.
Status – UTF-8 문자열입니다(유효 값: PROVISIONING | READY | FAILED | TIMEOUT | STOPPING | STOPPED).

세션 상태입니다.
ErrorMessage – URI address multi-line string pattern과(와) 일치하는 2,048바이트 이하 길이의 설명 문자열입니다.

세션 중 표시되는 오류 메시지입니다.
Description – URI address multi-line string pattern과(와) 일치하는 2,048바이트 이하 길이의 설명 문자열입니다.

세션에 대한 설명입니다.
Role – Custom string pattern #26과 일치하는 UTF-8 문자열입니다(20~2,048바이트).

세션과 연결된 IAM 역할의 이름 또는 Amazon 리소스 이름(ARN)입니다.
Command – SessionCommand 객체입니다.

명령 개체 SessionCommand. 참조.
DefaultArguments – 75개 이하의 페어로 구성된 키-값 페어의 맵 배열입니다.

각 키는 Custom string pattern #27과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

각 값은 URI address multi-line string pattern와 일치하는 UTF-8 문자열(4,096바이트 이하)입니다.

키-값 페어의 맵 배열입니다. 최대 75페어입니다.
Connections – ConnectionsList 객체입니다.

세션에 사용되는 연결 수입니다.
Progress - 숫자(double)입니다.

세션의 코드 실행 진행률입니다.
MaxCapacity - 숫자(double)입니다.

작업 실행 시 할당할 수 있는 AWS Glue 데이터 처리 장치 (DPU) 수 DPU는 4 vCPU의 컴퓨팅 용량과 16GB 메모리로 구성된 프로세싱 파워의 상대적 측정값입니다.
SecurityConfiguration – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

세션과 함께 사용할 SecurityConfiguration 구조의 이름.
GlueVersion – Custom string pattern #20과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

AWS Glue 버전에 따라 지원되는 아파치 스파크와 Python 버전이 결정됩니다. AWS Glue 는 2.0보다 GlueVersion 커야 합니다.
DataAccessId – UTF-8 문자열입니다(1~36바이트 이하)

세션의 데이터 액세스 ID입니다.
PartitionId – UTF-8 문자열입니다(1~36바이트 이하)

세션의 파티션 ID입니다.
NumberOfWorkers - 숫자(정수)입니다.

세션에 사용할 정의된 WorkerType의 작업자 수입니다.
WorkerType – UTF-8 문자열입니다(유효한 값: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

세션이 실행될 때 할당되는 미리 정의된 작업자 유형입니다. Spark 세션에 대해 G.1X, G.2X, G.4X 또는 G.8X의 값을 허용합니다. Ray 세션에 대해 Z.2X의 값을 허용합니다.
CompletedOn – 타임스탬프입니다.

이 세션이 완료된 날짜 및 시간입니다.
ExecutionTime - 숫자(double)입니다.

세션이 실행된 총 시간입니다.
DPUSeconds - 숫자(double)입니다.

세션에서 소비한 DPU (공식: ExecutionTime * MaxCapacity)
IdleTimeout - 숫자(정수)입니다.

세션 시간이 초과되기까지 유휴 상태의 시간(분)입니다.
ProfileName – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

세션과 관련된 AWS Glue 사용 프로필의 이름.

SessionCommand 구조

작업을 실행하는 SessionCommand입니다.

필드

Name – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

의 이름을 지정합니다 SessionCommand. 'glueetl' 또는 'gluestreaming'일 수 있습니다.
PythonVersion – Custom string pattern #21과(와) 일치하는 UTF-8 문자열입니다.

Python 버전을 지정합니다. Python의 버전으로 Spark 유형의 작업에 대해 지원되는 버전을 확인할 수 있습니다.

명령문 구조

세션에서 발생할 특정 작업에 대한 명령문 또는 요청입니다.

필드

Id - 숫자(정수)입니다.

문의 ID입니다.
Code – UTF-8 문자열입니다.

문의 실행 코드입니다.
State – UTF-8 문자열입니다(유효 값: WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | ERROR).

요청이 실행되는 동안의 상태입니다.
Output – StatementOutput 객체입니다.

JSON의 출력입니다.
Progress - 숫자(double)입니다.

코드 실행 진행률입니다.
StartedOn - 숫자(정수)입니다.

작업 정의가 시작된 Unix 시간 및 날짜입니다.
CompletedOn - 숫자(정수)입니다.

작업 정의가 완료된 Unix 시간 및 날짜입니다.

StatementOutput 구조체

JSON 형식의 코드 실행 출력입니다.

필드

Data – StatementOutputData 객체입니다.

코드 실행 출력입니다.
ExecutionCount - 숫자(정수)입니다.

출력의 실행 수입니다.
Status – UTF-8 문자열입니다(유효 값: WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | ERROR).

코드 실행 출력의 상태입니다.
ErrorName – UTF-8 문자열입니다.

출력의 오류 이름입니다.
ErrorValue – UTF-8 문자열입니다.

출력의 오류 값입니다.
Traceback – UTF-8 문자열의 배열입니다.

출력의 트레이스백입니다.

StatementOutputData 구조

JSON 형식의 코드 실행 출력입니다.

필드

TextPlain – UTF-8 문자열입니다.

텍스트 형식의 코드 실행 출력입니다.

ConnectionsList 구조

작업이 사용한 연결을 지정합니다.

필드

Connections – UTF-8 문자열의 배열입니다.

작업이 사용한 연결 목록입니다.

운영

CreateSession 액션 (Python: create_session)
StopSession 액션 (파이썬: 스탑_세션)
DeleteSession 액션 (Python: 삭제_세션)
GetSession 액션 (파이썬: get_session)
ListSessions 액션 (Python: 리스트_세션)
RunStatement 액션 (Python: run_statement)
CancelStatement 액션 (Python: 취소_명령문)
GetStatement 액션 (파이썬: get_statement)
ListStatements 액션 (Python: 리스트_스테이트먼츠)

CreateSession 액션 (Python: create_session)

새 세션을 생성합니다.

요청

새 세션 생성을 요청합니다.

Id – 필수: Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

세션 요청의 ID입니다.
Description – URI address multi-line string pattern과(와) 일치하는 2,048바이트 이하 길이의 설명 문자열입니다.

세션에 대한 설명입니다.
Role – 필수: Custom string pattern #26과 일치하는 UTF-8 문자열입니다(20~2,048바이트).

IAM 역할 ARN
Command – 필수: SessionCommand 객체입니다.

작업을 실행하는 SessionCommand입니다.
Timeout – 1 이상의 숫자(정수)입니다.

세션 시간이 초과되기 전 경과되는 시간(분)입니다. Spark ETL 작업의 기본값은 이 작업 유형의 최대 세션 수명 시간인 48시간(2,880분)입니다. 다른 작업 유형에 대해서는 설명서를 참조하세요.
IdleTimeout – 1 이상의 숫자(정수)입니다.

세션 시간이 초과되기까지 유휴 상태의 시간(초)입니다. Spark ETL 작업의 기본값은 시간 제한 값입니다. 다른 작업 유형에 대해서는 설명서를 참조하세요.
DefaultArguments – 75개 이하의 페어로 구성된 키-값 페어의 맵 배열입니다.

각 키는 Custom string pattern #27과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

각 값은 URI address multi-line string pattern와 일치하는 UTF-8 문자열(4,096바이트 이하)입니다.

키-값 페어의 맵 배열입니다. 최대 75페어입니다.
Connections – ConnectionsList 객체입니다.

세션에 사용할 연결 수입니다.
MaxCapacity - 숫자(double)입니다.

작업 실행 시 할당할 수 있는 AWS Glue 데이터 처리 장치 (DPU) 수입니다. DPU는 4 vCPU의 컴퓨팅 용량과 16GB 메모리로 구성된 프로세싱 파워의 상대적 측정값입니다.
NumberOfWorkers - 숫자(정수)입니다.

세션에 사용할 정의된 WorkerType의 작업자 수입니다.
WorkerType – UTF-8 문자열입니다(유효한 값: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

작업이 실행될 때 할당되는 미리 정의된 작업자 유형입니다. Spark 작업에 대해 G.1X, G.2X, G.4X 또는 G.8X의 값을 허용합니다. Ray 노트북에 대해 Z.2X 값을 허용합니다.
- G.1X 작업자 유형에서 각 작업자는 84GB 디스크(약 34GB의 여유 공간)에서 1개의 DPU(vCPU 4개, 메모리 16GB)에 매핑되고, 작업자당 1개의 실행기를 제공합니다. 대부분의 작업을 실행할 수 있는 확장 가능하고 비용 효율적인 방법을 제공하기 위해 데이터 변환, 조인, 쿼리와 같은 워크로드에서 이 작업자 유형을 사용하는 것이 좋습니다.
- G.2X 작업자 유형에서 각 작업자는 128GB 디스크(약 77GB의 여유 공간)에서 2개의 DPU(vCPU 8개, 메모리 32GB)에 매핑되고, 작업자당 1개의 실행기를 제공합니다. 대부분의 작업을 실행할 수 있는 확장 가능하고 비용 효율적인 방법을 제공하기 위해 데이터 변환, 조인, 쿼리와 같은 워크로드에서 이 작업자 유형을 사용하는 것이 좋습니다.
- G.4X 작업자 유형에서 각 작업자는 256GB 디스크(약 235GB의 여유 공간)에서 4개의 DPU(vCPU 16개, 메모리 64GB)에 매핑되고, 작업자당 1개의 실행기를 제공합니다. 워크로드에 가장 까다로운 변환, 집계, 조인 및 쿼리가 포함된 작업에서 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 미국 동부 (오하이오), 미국 동부 (버지니아 북부), 미국 서부 (오레곤), 아시아 태평양 (싱가포르), 아시아 태평양 (시드니), 아시아 태평양 (도쿄), 캐나다 (중부), 유럽 (프랑크푸르트), 유럽 (아일랜드) 및 유럽 (스톡홀름) 의 AWS Glue 버전 3.0 이상 Spark ETL 작업에만 사용할 수 있습니다. AWS
- G.8X 작업자 유형에서 각 작업자는 512GB 디스크(약 487GB의 여유 공간)에서 8개의 DPU(vCPU 32개, 메모리 128GB)에 매핑되고, 작업자당 1개의 실행기를 제공합니다. 워크로드에 가장 까다로운 변환, 집계, 조인 및 쿼리가 포함된 작업에서 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 작업자 유형에 지원되는 AWS 지역과 동일한 지역에서 AWS Glue 버전 3.0 이상의 Spark ETL G.4X 작업에만 사용할 수 있습니다.
- Z.2X 작업자 유형에서 각 작업자는 128GB 디스크(약 120GB의 여유 공간)에서 2개의 M-DPU(vCPU 8개, 메모리 64GB)에 매핑되고, Autoscaler에 따라 최대 8개의 Ray 작업자를 제공합니다.
SecurityConfiguration – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

세션과 함께 사용할 SecurityConfiguration 구조의 이름
GlueVersion – Custom string pattern #20과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

AWS Glue 버전에 따라 지원되는 아파치 스파크와 Python 버전이 결정됩니다. AWS Glue 는 2.0보다 GlueVersion 커야 합니다.
DataAccessId – UTF-8 문자열입니다(1~36바이트 이하)

세션의 데이터 액세스 ID입니다.
PartitionId – UTF-8 문자열입니다(1~36바이트 이하)

세션의 파티션 ID입니다.
Tags – 50개 이하의 페어로 구성된 키-값 페어의 맵 배열입니다.

각 키는 길이가 1~128바이트인 UTF-8 문자열입니다.

각 값은 256 바이트 이하 길이의 UTF-8 문자열입니다.

세션에 속하는 키 값 페어(태그)의 맵입니다.
RequestOrigin – Custom string pattern #27과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

요청의 오리진입니다.
ProfileName – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

세션과 관련된 AWS Glue 사용자 프로필의 이름.

응답

Session – 세션 객체입니다.

응답으로 세션 객체를 반환합니다.

Errors

AccessDeniedException
IdempotentParameterMismatchException
InternalServiceException
OperationTimeoutException
InvalidInputException
ValidationException
AlreadyExistsException
ResourceNumberLimitExceededException

StopSession 액션 (파이썬: 스탑_세션)

세션을 중지합니다.

요청

Id – 필수: Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

중지할 세션의 ID입니다.
RequestOrigin – Custom string pattern #27과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

요청의 오리진입니다.

응답

Id – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

중지된 세션의 ID를 반환합니다.

Errors

AccessDeniedException
InternalServiceException
OperationTimeoutException
InvalidInputException
IllegalSessionStateException
ConcurrentModificationException

DeleteSession 액션 (Python: 삭제_세션)

세션을 삭제합니다.

요청

Id – 필수: Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

삭제되는 세션의 ID입니다.
RequestOrigin – Custom string pattern #27과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

세션 삭제 요청의 오리진 이름입니다.

응답

Id – Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

삭제된 세션의 ID를 반환합니다.

Errors

AccessDeniedException
InternalServiceException
OperationTimeoutException
InvalidInputException
IllegalSessionStateException
ConcurrentModificationException

GetSession 액션 (파이썬: get_session)

세션을 검색합니다.

요청

Id – 필수: Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

세션의 ID입니다.
RequestOrigin – Custom string pattern #27과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

요청의 오리진입니다.

응답

Session – 세션 객체입니다.

세션 객체가 응답으로 반환됩니다.

Errors

AccessDeniedException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
InvalidInputException

ListSessions 액션 (Python: 리스트_세션)

세션 목록을 검색합니다.

요청

NextToken – 400,000바이트 이하 길이의 UTF-8 문자열입니다.

다음 결과 세트를 가져오기 위한 토큰이지만 결과가 더 없는 경우에는 null 값을 갖습니다.
MaxResults – 1~1,000의 숫자(정수)입니다.

최대 결과 수입니다.
Tags – 50개 이하의 페어로 구성된 키-값 페어의 맵 배열입니다.

각 키는 길이가 1~128바이트인 UTF-8 문자열입니다.

각 값은 256 바이트 이하 길이의 UTF-8 문자열입니다.

세션에 속한 태그입니다.
RequestOrigin – Custom string pattern #27과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

요청의 오리진입니다.

응답

Ids – UTF-8 문자열의 배열입니다.

세션의 ID를 반환합니다.
Sessions – 세션 객체의 배열입니다.

세션 객체를 반환합니다.
NextToken – 400,000바이트 이하 길이의 UTF-8 문자열입니다.

다음 결과 세트를 가져오기 위한 토큰이지만 결과가 더 없는 경우에는 null 값을 갖습니다.

Errors

AccessDeniedException
InvalidInputException
InternalServiceException
OperationTimeoutException

RunStatement 액션 (Python: run_statement)

문을 실행합니다.

요청

SessionId – 필수: Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

실행할 문의 세션 ID입니다.
Code – 필수: UTF-8 문자열입니다(68,000바이트 이하).

실행할 문 코드입니다.
RequestOrigin – Custom string pattern #27과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

요청의 오리진입니다.

응답

Id - 숫자(정수)입니다.

실행된 문의 ID를 반환합니다.

Errors

EntityNotFoundException
AccessDeniedException
InternalServiceException
OperationTimeoutException
InvalidInputException
ValidationException
ResourceNumberLimitExceededException
IllegalSessionStateException

CancelStatement 액션 (Python: 취소_명령문)

문을 취소합니다.

요청

SessionId – 필수: Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

취소할 문의 세션 ID입니다.
Id – 필수(Required): 숫자(정수)입니다.

취소할 문의 ID입니다.
RequestOrigin – Custom string pattern #27과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

문 취소 요청의 오리진입니다.

응답

무응답 파라미터.

Errors

AccessDeniedException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
InvalidInputException
IllegalSessionStateException

GetStatement 액션 (파이썬: get_statement)

문을 검색합니다.

요청

SessionId – 필수: Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

문의 세션 ID입니다.
Id – 필수(Required): 숫자(정수)입니다.

문의 ID입니다.
RequestOrigin – Custom string pattern #27과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

요청의 오리진입니다.

응답

Statement – 문 객체입니다.

문을 반환합니다.

Errors

AccessDeniedException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
InvalidInputException
IllegalSessionStateException

ListStatements 액션 (Python: 리스트_스테이트먼츠)

세션에 대한 문을 나열합니다.

요청

SessionId – 필수: Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

문의 세션 ID입니다.
RequestOrigin – Custom string pattern #27과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

문 나열 요청의 오리진입니다.
NextToken – 400,000바이트 이하 길이의 UTF-8 문자열입니다.

이것이 지속적으로 호출되면 지속적인 토큰입니다.

응답

Statements – 문 객체의 배열입니다.

문 목록을 반환합니다.
NextToken – 400,000바이트 이하 길이의 UTF-8 문자열입니다.

모든 문이 아직 반환되지 않은 경우의 지속 토큰입니다.

Errors

AccessDeniedException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
InvalidInputException
IllegalSessionStateException

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

트리거

DevEndpoints