Map 상태를 사용하여 데이터 동적 처리 - AWS Step Functions

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Map 상태를 사용하여 데이터 동적 처리

이 샘플 프로젝트는 상태를 사용하여 동적 병렬화를 보여줍니다.

이 프로젝트에서 Step Functions는 AWS Lambda 함수를 사용하여 Amazon SQS 대기열에서 메시지를 가져와서 해당 메시지의 JSON 배열을 상태에 전달합니다. Map 대기열에 있는 메시지마다 상태 시스템은 메시지를 DynamoDB에 쓰고 다른 Lambda 함수를 간접적으로 호출하여 Amazon SQS에서 메시지를 제거한 다음 메시지를 Amazon SNS 주제에 게시합니다.

Map 상태 및 Step Functions 서비스 통합에 대한 자세한 내용은 다음을 참조하세요.

1단계: 상태 시스템 만들기 및 리소스 프로비저닝

  1. Step Functions 콘솔을 열고 상태 시스템 생성을 선택합니다.

  2. 검색 상자에 Dynamically process data with a Map state를 입력한 다음 반환된 검색 결과에서 Map 상태에서 데이터를 동적으로 처리를 선택합니다.

  3. 다음을 선택하여 계속 진행합니다.

  4. Step Functions는 선택한 샘플 프로젝트에 AWS 서비스 사용된 항목을 나열합니다. 또한 샘플 프로젝트의 워크플로 그래프도 보여줍니다. 이 프로젝트를 사용자 프로젝트에 AWS 계정 배포하거나 자체 프로젝트를 빌드하기 위한 출발점으로 사용하세요. 진행하려는 방식에 따라 데모 실행 또는 이를 기반으로 구축을 선택합니다.

    이 샘플 프로젝트는 다음 리소스를 배포합니다.

    • Map 상태에서 메시지를 반복적으로 읽고 제거하는 Amazon SQS 대기열

    • Map 상태에서 메시지를 반복적으로 쓰는 DynamoDB 테이블

    • Step Functions가 Amazon SQS 대기열에서 읽은 메시지를 게시하는 Amazon SNS 주제

    • 두 가지 AWS Lambda 기능

    • AWS Step Functions 스테이트 머신

    • 관련 AWS Identity and Access Management (IAM) 역할

    다음 이미지에서는 Map 상태에서 데이터를 동적으로 처리 샘플 프로젝트의 워크플로 그래프를 보여줍니다.

    
            Map 상태에서 데이터를 동적으로 처리 샘플 프로젝트의 워크플로 그래프입니다.
  5. 템플릿 사용을 선택하여 계속 선택합니다.

  6. 다음 중 하나를 수행하십시오.

    • 이를 기반으로 구축을 선택한 경우 Step Functions는 선택한 샘플 프로젝트의 워크플로 프로토타입을 만듭니다. Step Functions는 워크플로 정의에 나열된 리소스를 배포하지 않습니다.

      Workflow Studio의 디자인 모드에서 상태 브라우저의 상태를 끌어서 놓아 워크플로 프로토타입을 계속 빌드합니다. 또는 VS Code와 유사한 통합 코드 편집기를 제공하는 코드 모드로 전환하여 Step Functions 콘솔 내에서 상태 시스템의 Amazon States Language(ASL) 정의를 업데이트합니다. Workflow Studio를 사용하여 상태 시스템 빌드에 대한 자세한 내용은 Workflow Studio 사용 섹션을 참조하세요.

      중요

      워크플로를 실행하기 전에 샘플 프로젝트에 사용된 리소스의 자리 표시자 Amazon 리소스 이름(ARN)을 업데이트해야 합니다.

    • 데모 실행을 선택한 경우 Step Functions는 템플릿을 사용하여 해당 AWS CloudFormation 템플릿에 나열된 AWS 리소스를 사용자에게 배포하는 읽기 전용 샘플 프로젝트를 만듭니다. AWS 계정

      작은 정보

      샘플 프로젝트의 상태 시스템 정의를 보려면 코드를 선택하세요.

      준비가 되면 배포 및 실행을 선택하여 샘플 프로젝트를 배포하고 리소스를 만듭니다.

      이러한 리소스 및 관련 IAM 권한을 만드는 데 최대 10분이 걸릴 수 있습니다. 리소스를 배포하는 동안 CloudFormation Stack ID 링크를 열어 프로비저닝되는 리소스를 확인할 수 있습니다.

      샘플 프로젝트의 모든 리소스가 생성된 후에 상태 시스템 페이지에 새 샘플 프로젝트가 나열됩니다.

      중요

      템플릿에서 사용되는 각 서비스에는 표준 요금이 적용될 수 있습니다. CloudFormation

샘플 프로젝트의 리소스가 배포되면 항목을 Amazon SQS 대기열에 추가하고 Amazon SNS 주제를 구독한 후에 상태 시스템을 실행해야 합니다.

2단계: Amazon SNS 주제 구독

  1. Amazon SNS 콘솔을 엽니다.

  2. 주제를 선택하고 Map 상태 샘플 프로젝트에서 생성한 주제를 선택합니다.

    이름은 MapSampleProj-SNStoPic-1CQO4HQ3IR1kn과 비슷합니다.

  3. 구독 생성을 선택합니다.

    구독 생성 페이지가 나타나며, 해당 주제에 대한 주제 ARN이 나열됩니다.

  4. 프로토콜에서 이메일을 선택합니다.

  5. 엔드포인트에 주제를 구독할 이메일 주소를 입력합니다.

  6. 구독 생성을 선택합니다.

    참고

    활성화되기 전에 이메일에서 구독을 확인합니다.

  7. 관련된 계정에서 구독 확인 이메일을 열고 구독 확인 URL을 엽니다.

    구독이 확인됨 페이지가 표시됩니다.

3단계: Amazon SQS 대기열에 메시지 추가

  1. Amazon SQS 콘솔을 엽니다.

  2. Map 상태 샘플 프로젝트에서 생성한 대기열을 선택합니다.

    이름은 MapSampleProj-sqsqueue-1Udic9VZdorn7과 비슷할 것입니다.

  3. [메시지 전송 및 수신(Send and receive messages)]을 선택합니다.

  4. 메시지 전송 및 수신 페이지에서 메시지를 입력하고 메시지 전송을 선택합니다.

  5. 다른 메시지를 입력하고 메시지 전송을 선택합니다. Amazon SQS 대기열에 메시지 여러 개가 있을 때까지 메시지를 계속 입력합니다.

4단계: 상태 시스템 실행

참고

Amazon SNS의 대기열은 일정하게 유지됩니다. 최상의 결과를 얻으려면 대기열을 채우고 상태 시스템을 실행하는 동안 잠시 기다리십시오.

  1. 상태 시스템 페이지에서 샘플 프로젝트를 선택합니다.

  2. 샘플 프로젝트 페이지에서 실행 시작을 선택합니다.

  3. 실행 시작 대화 상자에서 다음을 수행합니다.

    1. (선택 사항) 실행을 식별하려면 이름 상자에 해당 실행의 이름을 지정하면 됩니다. 기본적으로 Step Functions는 고유한 실행 이름을 자동으로 생성합니다.

      참고

      Step Functions를 사용하면 상태 머신, 실행 및 활동의 이름과 ASCII가 아닌 문자가 포함된 레이블을 만들 수 있습니다. 이러한 비 ASCII 이름은 Amazon에서 사용할 수 없습니다. CloudWatch CloudWatch 지표를 추적할 수 있도록 하려면 ASCII 문자만 사용하는 이름을 선택하십시오.

    2. (선택 사항) 입력 상자에 입력 값을 JSON 형식으로 입력하여 워크플로를 실행합니다.

      데모 실행을 선택한 경우에는 실행 입력을 제공할 필요가 없습니다.

      참고

      배포한 데모 프로젝트에 미리 채워진 실행 입력 데이터가 포함되어 있는 경우 해당 입력을 사용하여 상태 시스템을 실행하세요.

    3. 실행 시작을 선택합니다.

    4. Step Functions 콘솔은 실행 ID가 제목인 페이지로 이동합니다. 이 페이지를 실행 세부 정보 페이지라고 합니다. 실행이 진행되는 동안 또는 완료된 후에 이 페이지에서 실행 결과를 검토할 수 있습니다.

      실행 결과를 검토하려면 그래프 보기에서 개별 상태를 선택한 다음 단계 세부 정보 창에서 개별 탭을 선택하여 입력, 출력 및 정의가 포함된 각 상태의 세부 정보를 각각 봅니다. 실행 세부 정보 페이지에서 볼 수 있는 실행 정보에 대한 자세한 내용은 실행 세부 정보 페이지 - 인터페이스 개요 섹션을 참조하세요.

예제 상태 시스템 코드

이 샘플 프로젝트의 상태 시스템은 파라미터를 리소스에 직접 전달하여 Amazon SQS, Amazon SNS 및 Lambda와 통합됩니다.

이 예제 상태 시스템을 살펴보고 Resource 필드의 Amazon 리소스 이름(ARN)과 연결하고 Parameters를 서비스 API에 전달하여 Step Functions에서 Lambda, DynamoDB 및 Amazon SNS를 제어하는 방법을 확인합니다.

다른 AWS 서비스를 제어할 AWS Step Functions 수 있는 방법에 대한 자세한 내용은 을 참조하십시오. 다른 서비스와 AWS Step Functions 함께 사용

{ "Comment": "An example of the Amazon States Language for reading messages from an SQS queue and iteratively processing each message.", "StartAt": "Read messages from SQS Queue", "States": { "Read messages from SQS Queue": { "Type": "Task", "Resource": "arn:aws:states:::lambda:invoke", "OutputPath": "$.Payload", "Parameters": { "FunctionName": "MapSampleProj-ReadFromSQSQueueLambda-1MY3M63RMJVA9" }, "Next": "Are there messages to process?" }, "Are there messages to process?": { "Type": "Choice", "Choices": [ { "Variable": "$", "StringEquals": "No messages", "Next": "Finish" } ], "Default": "Process messages" }, "Process messages": { "Type": "Map", "Next": "Finish", "ItemsPath": "$", "Parameters": { "MessageNumber.$": "$$.Map.Item.Index", "MessageDetails.$": "$$.Map.Item.Value" }, "Iterator": { "StartAt": "Write message to DynamoDB", "States": { "Write message to DynamoDB": { "Type": "Task", "Resource": "arn:aws:states:::dynamodb:putItem", "ResultPath": null, "Parameters": { "TableName": "MapSampleProj-DDBTable-YJDJ1MKIN6C5", "ReturnConsumedCapacity": "TOTAL", "Item": { "MessageId": { "S.$": "$.MessageDetails.MessageId" }, "Body": { "S.$": "$.MessageDetails.Body" } } }, "Next": "Remove message from SQS queue" }, "Remove message from SQS queue": { "Type": "Task", "Resource": "arn:aws:states:::lambda:invoke", "InputPath": "$.MessageDetails", "ResultPath": null, "Parameters": { "FunctionName": "MapSampleProj-DeleteFromSQSQueueLambda-198J2839ZO5K2", "Payload": { "ReceiptHandle.$": "$.ReceiptHandle" } }, "Next": "Publish message to SNS topic" }, "Publish message to SNS topic": { "Type": "Task", "Resource": "arn:aws:states:::sns:publish", "InputPath": "$.MessageDetails", "Parameters": { "Subject": "Message from Step Functions!", "Message.$": "$.Body", "TopicArn": "arn:aws:sns:us-east-1:012345678910:MapSampleProj-SNSTopic-1CQO4HQ3IR1KN" }, "End": true } } } }, "Finish": { "Type": "Succeed" } } }

IAM 예제

샘플 프로젝트에서 생성된 이 예제 AWS Identity and Access Management (IAM) 정책에는 스테이트 머신 및 관련 리소스를 실행하는 데 필요한 최소 권한이 포함되어 있습니다. IAM 정책에 필요한 정책만 포함시키는 것이 좋습니다.

{ "Version": "2012-10-17", "Statement": [ { "Action": [ "lambda:InvokeFunction" ], "Resource": [ "arn:aws:lambda:us-east-1:012345678901:function:MapSampleProj-ReadFromSQSQueueLambda-1MY3M63RMJVA9", "arn:aws:lambda:us-east-1:012345678901:function:MapSampleProj-DeleteFromSQSQueueLambda-198J2839ZO5K2" ], "Effect": "Allow" }, { "Action": [ "dynamodb:PutItem" ], "Resource": [ "arn:aws:dynamodb:us-east-1:012345678901:table/MapSampleProj-DDBTable-YJDJ1MKIN6C5" ], "Effect": "Allow" }, { "Action": [ "sns:Publish" ], "Resource": [ "arn:aws:sns:us-east-1:012345678901:MapSampleProj-SNSTopic-1CQO4HQ3IR1KN" ], "Effect": "Allow" } ] }

Step Functions를 다른 AWS 서비스와 함께 사용할 때 IAM을 구성하는 방법에 대한 자세한 내용은 을 참조하십시오통합 서비스용 IAM 정책.