Amazon S3에서 데이터 저장하기

사전 정의된 CloudFormation 템플릿 사용

Amazon Monitron은 Kinesis 데이터 스트림에서 Amazon S3 버킷으로 데이터를 전송하도록 Firehose를 빠르게 설정하는 데 도움이 되는 사전 정의된 AWS CloudFormation 템플릿을 제공합니다. 이 템플릿을 사용하면 동적 파티셔닝이 가능하며, 전달된 Amazon S3 객체는 Amazon Monitron에서 권장하는 다음과 같은 키 형식을 사용합니다: /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

1. AWS 계정에 로그인합니다.

2. 다음 를 사용하여 새 브라우저 탭을 엽니다URL.

   https://console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/create/review?templateURL=https://s3.us-east-1.amazonaws.com/monitron-cloudformation-templates-us-east-1/monitron_kinesis_data_export.yaml&stackName=monitron-kinesis-live-data-export

3. 열리는 AWS CloudFormation 페이지의 오른쪽 상단 모서리에서 Amazon Monitron을 사용 중인 리전을 선택합니다.

4. 기본적으로 템플릿은 Amazon S3에 데이터를 전송하는 데 필요한 다른 리소스와 함께 새로운 Kinesis 데이터 스트림 및 S3 버킷을 생성합니다. 기존 리소스를 사용하도록 파라미터를 변경할 수 있습니다.

5. 가 IAM 리소스를 생성할 AWS CloudFormation 수 있음을 인정한다는 상자를 선택합니다.

6. 스택 생성을 선택합니다.

7. 다음 페이지에서 스택 상태가 CREATE_가 될 때까지 원하는 만큼 새로 고침 아이콘을 선택합니다COMPLETE.

콘솔에서 Kinesis를 수동으로 구성하기

1. AWS 관리 콘솔에 로그인하고 https://console.aws.amazon.com/kinesis에서 Kinesis 콘솔을 엽니다.

2. 탐색 창에서 전송 스트림을 선택합니다.

3. 전송 스트림 생성을 선택합니다.

4. 소스에서 Amazon Kinesis Data Streams를 선택합니다.

5. 대상으로 Amazon S3를 선택합니다.

6. 소스 설정, Kinesis 데이터 스트림 에서 Kinesis 데이터 스트림ARN의 를 입력합니다.

7. 전송 스트림 이름에 Kinesis 데이터 스트림의 이름을 입력합니다.

8. 대상 설정에서 Amazon S3 버킷을 선택하거나 버킷을 입력합니다URI.

9. (선택 사항) 에 대한 인라인 구문 분석을 사용하여 동적 파티셔닝을 활성화합니다JSON. 이 옵션은 소스 정보와 타임스탬프를 기반으로 스트리밍 측정 데이터를 분할하려는 경우에 적합합니다. 예:

   • 동적 파티셔닝에서 활성화를 선택합니다.

   • 새 줄 구분자에서 활성화를 선택합니다.

   • 에 대한 인라인 구문 분석 활성화를 선택합니다. JSON

   • 동적 파티셔닝 키에서 다음을 추가합니다.

     키 이름	JQ 표현식
     project	.projectDisplayName| 'project=\(.)'
     site	.siteDisplayName| 'site=\(.)'
     time	.timestamp| sub("[0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{3}$"; "00:00:00")| "time=\(.)"

10. 동적 파티셔닝 키 적용을 선택하고 생성된 Amazon S3 버킷 접두사가 !{partitionKeyFromQuery:project}/!{partitionKeyFromQuery:site}/!{partitionKeyFromQuery:time}/인지 확인합니다.

11. Amazon S3에서 객체는 다음 키 형식을 사용합니다: /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}.

12. 전송 스트림 생성을 선택합니다.

13. (선택 사항) 더 세분화된 경로를 사용합니다.

    동적 파티션을 선택한 경우 및 AWS Glue Athena를 사용하여 데이터를 쿼리하려는 경우 선행 Amazon S3 키 형식을 사용합니다. 더 세밀한 키 형식을 선택할 수도 있지만 Amazon Athena 쿼리는 효율적이지 않습니다. 다음은 더 세밀한 Amazon S3 키 경로를 설정하는 예제입니다.

    동적 파티셔닝 키에서 다음을 추가합니다.

    키 이름	JQ 표현식
    project	.projectDisplayName| 'project=\(.)'
    site	.siteDisplayName| 'site=\(.)'
    asset	.assetDisplayName| 'asset=\(.)'
    position	.sensorPositionDisplayName| “position=\(.)”
    sensor	.sensor.physicalId | “sensor=\(.)”
    date	.timestamp| sub(" [0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{3}$"; "")| "date=\(.)"

    Amazon S3에서 객체는 다음 키 형식을 사용합니다: /project={projectName}/site={siteName}/asset={assetName}/position={positionName}/sensor={sensorId}/date={yyyy-mm-dd}/time={HH:MM:SS}/{filename}