4단계: 확인 및 문제 해결

인스턴스 확장을 트리거하는 작업을 제출한 후 로그 파일이 Amazon S3 버킷에 나타나는지 확인합니다.

작은 정보

전체 롤아웃 전에 로그 수집을 테스트하려면 컴퓨팅 환경에서 minvCpus를 0이 아닌 값으로 설정합니다. 이렇게 AWS Batch 하면가 작업 제출을 기다리지 않고 하나 이상의 인스턴스를 확장합니다. 테스트 후 불필요한 비용을 방지하기 위해를 minvCpus 다시 0으로 설정합니다.

AWS Console

1. https://console.aws.amazon.com/s3/에서 S3 콘솔을 엽니다.

2. 버킷을 열고 ecs-logs/ 접두사로 이동합니다.

3. 인스턴스 IDs 확인합니다. 각 폴더에는 각 로그 소스의 하위 디렉터리가 포함되어 있습니다.

AWS CLI

다음 명령을 실행하여 업로드된 로그 객체를 나열합니다.

aws s3 ls s3://host-level-logs-bucket/ecs-logs/ --recursive

명령이 인스턴스 ID, 날짜 및 소스 태그별로 구성된 객체를 반환하면 로그 수집이 올바르게 작동하는 것입니다.

로그가 표시되지 않는 경우 SSH 또는 SSM 세션 관리자를 사용하여 Fluent Bit 에이전트를 디버깅하여 인스턴스에 연결합니다. 를 사용하여 서비스 상태를 확인합니다systemctl status fluent-bit. /var/log/cloud-init-output.log를 검토하여 user-data 스크립트가 성공적으로 실행되었는지 확인합니다.

스팟 및 단기 인스턴스에 대한 고려 사항

스팟 인스턴스 또는 0으로 자주 확장되는 수명이 짧은 컴퓨팅 환경을 사용하는 경우 로그 데이터 손실을 방지하려면 다음 조정을 고려하세요.

• 스팟 회수 위험 -의 upload_timeout 및 total_file_size 값을 낮추fluent-bit.conf어 로그 데이터를 더 자주 플러시합니다. 이렇게 하면 인스턴스를 회수할 때 손실될 수 있는 데이터의 기간이 줄어듭니다.

• 수명이 짧은 인스턴스 -가 작업 간에 0으로 AWS Batch 조정되면 인스턴스가 종료되기 전에 수집된 데이터가 업로드upload_timeout되도록 및 Flush 간격을 줄입니다.

• Amazon S3 수명 주기 규칙 - 이전 로그 객체를 만료하거나 저렴한 스토리지 클래스로 전환하도록 Amazon S3 수명 주기 규칙을 구성하는 것이 좋습니다. 이렇게 하면 무제한 스토리지 증가를 방지할 수 있습니다.