Amazon S3 Storage Lens를 사용한 스토리지 비용 최적화 - Amazon Simple Storage Service

Amazon S3 Storage Lens를 사용한 스토리지 비용 최적화

Amazon S3 Storage Lens는 사용량 및 활동 지표를 집계하고 Amazon S3 콘솔 버킷 (홈) 페이지의 계정 스냅샷에 정보를 표시합니다. S3 Storage Lens 대시보드를 사용하여 인사이트와 추세를 시각화하고, 이상치를 표시하고, 스토리지 비용 최적화와 데이터 보호 모범 사례 적용을 위한 권장 사항을 수신할 수 있습니다.

다음 사용 사례는 S3 Storage Lens 대시보드를 사용하여 스토리지를 보다 효과적으로 최적화하기 위한 전략을 제공합니다.

가장 큰 S3 버킷 식별

요금은 S3 버킷에 저장된 객체에 대해 부과됩니다. 부과되는 요금은 객체의 크기, 객체 저장 기간 및 스토리지 클래스에 따라 다릅니다. Amazon S3 Storage Lens를 사용하면 계정의 모든 버킷을 중앙에서 볼 수 있습니다. AWS Organizations-레벨 S3 Storage Lens를 구성하면 조직의 모든 계정에 속한 모든 버킷을 볼 수 있습니다. 이 대시보드 보기에서 가장 큰 버킷을 식별할 수 있습니다.

가장 큰 버킷을 식별하는 방법

  1. AWS Management Console에 로그인한 후 https://console.aws.amazon.com/s3/에서 Amazon S3 콘솔을 엽니다.

  2. 탐색 창에서 Storage Lens, 대시보드(Dashboards)를 선택합니다.

  3. 대시보드(Dashboards) 목록에서 보고자 하는 대시보드를 선택합니다.

  4. 오른쪽 상단 모서리에 S3 Storage Lens가 스토리지 지표를 수집한 최신 날짜가 표시됩니다. 대시보드는 지표를 사용할 수 있는 최신 날짜에 대해 항상 로드합니다.

    • 현재 보고 있는 대시보드 데이터의 범위를 조정하려면 필터를 선택하여 임시 필터를 적용합니다.

    • 모든 필터를 제거하려면 재설정을 선택한 다음 적용을 선택합니다.

  5. 대시보드의 개요 탭에서 아래로 스크롤하여 날짜의 상위 N개 개요 섹션으로 이동하면 선택한 날짜 범위에 대해 총 스토리지 지표를 기준으로 한 가장 큰 버킷의 순위를 볼 수 있습니다.

    정렬 순서를 전환하면 가장 작은 버킷을 표시할 수 있으며, 제공되는 30개 이상의 지표를 기준으로 버킷의 순위를 매기도록 지표를 조정할 수 있습니다. 이 보기에는 전일 또는 전주 대비 백분율 변동과 14일 추세를 시각화한 스파크 라인도 표시됩니다(또는고급 지표 및 권장 사항으로 업그레이드한 경우 30일 추세).

  6. 버킷에 대한 자세한 정보를 보려면 해당 대시보드의 버킷 탭을 선택합니다. 버킷 탭에서는 최근 성장률, 평균 객체 크기기, 가장 큰 접두사, 객체 수와 같은 세부부 정보를 볼 수 있습니다.

  7. 가장 큰 버킷의 경우 S3 콘솔 내의 각 버킷으로 이동하여 객체 및 관련 워크로드를 파악하거나 버킷의 내부 소유자를 식별할 수 있습니다. 버킷 소유자로부터 이러한 성장이 예상되는지 여부나 이러한 성장에 추가 모니터링 및 관리가 필요한지를 확인할 수 있습니다.

불완전한 멀티파트 업로드 찾기

멀티파트 업로드 기능을 사용하면 매우 큰 객체(최대 5TB)를 하나의 파트 집합으로 업로드하여 처리량을 개선하고 네트워크 문제를 신속하게 복구할 수 있습니다. 멀티파트 업로드 프로세스가 완료되지 않는 경우 불완전한 파트가 (사용할 수 없는 상태로) 버킷에 남아 있게 되며 업로드 프로세스가 완료되거나 불완전한 파트가 제거될 때까지 스토리지 비용이 발생합니다. 자세한 내용은 멀티파트 업로드를 사용한 객체 업로드 및 복사 섹션을 참조하세요.

S3 Storage Lens를 사용하면 계정 또는 조직 전체에서 불완전한 멀티파트 업로드 바이트 수를 파악할 수 있습니다.

불완전한 멀티파트 업로드 바이트를 파악하는 방법

  1. AWS Management Console에 로그인한 후 https://console.aws.amazon.com/s3/에서 Amazon S3 콘솔을 엽니다.

  2. 탐색 창에서 Storage Lens, 대시보드(Dashboards)를 선택합니다.

  3. 대시보드(Dashboards) 목록에서 보고자 하는 대시보드를 선택합니다.

  4. 개요 탭의 윗부분에 있는 스냅샷 섹션에서 비용 효율성을 선택하면 불완전한 MPU 바이트 비율(%) 지표가 표시됩니다.

또한 S3 Storage Lens 대시보드의 모든 차트에서 불완전한 멀티파트 업로드 바이트를 지표로 선택할 수도 있습니다. 그러면 전체 불완전한 멀티파트 업로드 바이트가 스토리지에 미치는 영향(성장 추세에 대한 기여도 등)을 추가로 평가하거나 불완전한 멀티파트 업로드를 누적시키는 특정 버킷을 파악할 수 있습니다.

불완전한 멀티파트 업로드를 자동으로 관리하려면 지정된 일수가 지난 후에 버켓에서 불완전한 멀티파트 업로드 바이트를 만료시키는 수명 주기 정책을 만듭니다.

최신이 아닌 보존 버전 수 축소

S3 버전 관리 기능을 활성화하면 동일한 객체의 여러 버전을 보존하기 때문에 객체가 실수로 삭제되거나 덮어쓰여진 경우 데이터를 신속하게 복구할 수 있습니다. 그러나 S3 버전 관리는 최신이 아닌 이전 버전이 많이 누적되면 스토리지 비용에 영향을 미칠 수 있습니다. 자세한 내용은 S3 버킷에서 버전 관리 사용 섹션을 참조하세요.

최신 버전이 아닌 객체의 누적을 파악하는 방법

  1. AWS Management Console에 로그인한 후 https://console.aws.amazon.com/s3/에서 Amazon S3 콘솔을 엽니다.

  2. 탐색 창에서 Storage Lens, 대시보드(Dashboards)를 선택합니다.

  3. 대시보드(Dashboards) 목록에서 보고자 하는 대시보드를 선택합니다.

  4. 개요 탭의 윗부분에 있는 스냅샷 섹션에서 비용 효율성을 선택합니다. 최신이 아닌 버전의 바이트 비율(%) 지표는 선택한 날짜에 최신이 아닌 버전이 총 스토리지 바이트에서 차지하는 비율을 나타냅니다.

    참고

    최신이 아닌 버전의 바이트 비율(%)이 계정 수준의 스토리지 중 10% 이상이라면 이는 너무 많은 버전을 저장하고 있다는 지표가 될 수 있습니다.

  5. 최신이 아닌 다수의 버전을 누적시키는 특정 버킷을 파악하려면 아래로 스크롤하여 날짜의 상위 N개 개요 섹션으로 이동한 다음 최신이 아닌 버전의 바이트 비율(%) 지표를 선택합니다.

추가 조사가 필요한 버킷을 판단했다면 S3 콘솔 내의 해당 버킷으로 이동해 특정 일 수가 지난 후 최신이 아닌 버전을 만료시키는 수명 주기 정책을 활성화할 수 있습니다. 또는 최신이 아닌 버전을 보존하면서 비용을 줄이려면 최신이 아닌 버전을 Amazon S3 Glacier로 이동하도록 수명 주기 정책을 구성할 수 있습니다. 자세한 내용은 예 6: 버전 관리를 사용하는 버킷에 대한 수명 주기 규칙 지정 섹션을 참조하세요.

Amazon S3 콜드 버킷 발견

S3 Storage Lens 고급 지표가 활성화되어 있다면 활동 지표를 사용해 S3 버킷의 활용도를 파악할 수 있습니다. ‘콜드’ 버킷은 스토리지가 전혀 또는 거의 액세스되지 않는 버킷입니다. 이러한 활동 부족은 일반적으로 버킷의 객체가 자주 액세스되지 않음을 나타냅니다.

활동 지표(예: GET 요청다운로드 바이트 등)는 매일 버킷이 액세스되는 빈도를 나타냅니다. 액세스 패턴의 지속성을 파악하고 더 이상 액세스되지 않는 버킷을 확인하려면 몇 개월 동안 이러한 데이터의 추세를 알아야 합니다. 다운로드 바이트/총 스토리지로 계산되는 검색 비율 지표는 매일 액세스되는 버킷 내 스토리지의 비중을 나타냅니다.

참고

다운로드 바이트는 같은 개체가 하루 동안 여러 번 다운로드되는 경우 중복 집계됩니다.

버킷의 활성 수준을 확인하는 방법

  1. AWS Management Console에 로그인한 후 https://console.aws.amazon.com/s3/에서 Amazon S3 콘솔을 엽니다.

  2. 탐색 창에서 Storage Lens, 대시보드(Dashboards)를 선택합니다.

  3. 대시보드(Dashboards) 목록에서 보고자 하는 대시보드를 선택합니다.

  4. 대시보드의 버킷 탭을 선택하고 아래로 스크롤하여 날짜의 버킷별 거품형 분석 차트로 이동합니다.

  5. 거품형 분석 섹션에서는 x 축, y 축, 그리고 거품의 크기를 나타내는 임의의 3개 지표를 사용한 다차원 도표에 버킷을 표현할 수 있습니다. 검색 비율(%)을 지표 중 하나로 선택합니다.

  6. 자주 사용되지 않는 버킷을 찾으려면 총 스토리지, 검색 비율(%), 평균 객체 크기 지표를 사용한 거품형 분석을 구성합니다. 검색 비율이 0이고(또는 0에 가깝고) 상대적으로 스토리지 크기가 큰 버킷을 찾습니다.

이때 계정 또는 조직의 버킷 소유자를 식별하고 해당 스토리지가 계속 필요한지 여부를 확인할 수 있습니다. 그런 다음 버킷에 대한 수명 주기 만료 정책을 구성하거나 Amazon S3 Glacier에 데이터를 보관하여 비용을 최적화할 수 있습니다.

향후 콜드 버킷 문제를 방지하려면 버킷에 대해 S3 수명 주기 정책을 사용해 데이터를 자동으로 이동하거나 S3 Intelligent-Tiering을 사용한 자동 보관을 활성활 수 있습니다.

반대로 핫 버킷의 경우 앞의 예제를 활용하여 해당 버킷을 식별한 다음 올바른 S3 스토리지 클래스가 사용되고 있는지 확인함으로써 버킷이 가장 효율적으로 요청을 처리하도록 최적화되어 있는지를 파악할 수 있습니다.