よくある質問

このセクションでは、 でのデータレイクレイヤーの Amazon Simple Storage Service (Amazon S3) バケットとパス名の定義に関する一般的な質問に対する回答を提供します AWS クラウド。

マルチリージョンバケットにはどのような名前を使用する必要がありますか？

推奨される Amazon S3 バケットの命名形式を使用して、識別子を AWS リージョン 変更できます。例には、examplecompany-raw-useast1-12345-dev や examplecoompany-raw-uswest1-12345-dev が含まれます。

データレイクレイヤーの名前として raw、stage、および analytics を使用する必要がありますか？

いいえ。要件に応じてレイヤーに名前を付けることができます。ただし、元のファイル形式を含むデータレイヤーには Amazon S3 バケットを使用し、このバケットのバージョニングを有効にすることを強くお勧めします。

Amazon S3 バケットの名前を変更することは可能ですか？

いいえ。別の Amazon S3 バケット名を使用する場合は、新しい名前で新しいバケットを作成する必要があります。これは、Amazon S3 バケットに明確に定義された一貫した命名方法を使用することが推奨される理由の 1 つです。

バケットを削除して名前を再利用する場合はどうなりますか？

Amazon S3 バケットを削除し、同じ名前の新しいバケットを作成する場合は、名前が再び使用可能になるまで待つ必要があります。変更が有効になるまでに 48～72 時間かかる場合があります。以前の名前を再利用する新しいバケットを作成する前に、少なくとも 48 時間待つことがベストプラクティスです。Amazon S3 バケット名はグローバルに一意であり、すべて同じ名前空間 AWS アカウント を共有します。

バケット名またはパス名に含めることができる内容に制限はありますか？

Amazon S3 バケット名では、小文字、数字、ダッシュ、ドットのみを使用できます。バケット名の長さは 3～63 文字で、先頭と末尾は数字または文字にする必要があります。IP アドレス形式にすることはできません。また、名前はグローバルに一意である必要があります。

Amazon S3 バケットパスでは、大文字を使用できますが、小文字のみを使用することをお勧めします。パスには追加の記号を含めることもできますが、アンダースコア、ダッシュ、スラッシュ、数字のみを使用することをお勧めします。

データレイクのランディングゾーン、raw、ステージ、分析レイヤーよりも多くのレイヤーを使用できますか？

はい、必要な数のレイヤーを使用できます。ただし、raw データにはランディングゾーンと raw レイヤー、フォーマットされたデータには中間レイヤー、高度にモデル化されたデータにはレイヤーを用意することをお勧めします。

パラメータを定義していない場合はどうなりますか？

ビジネスユニットなどの特定のパラメータは、Amazon S3 バケット名に組み込む必要はありませんが、パスの一部にすることができます。つまり、Amazon S3 バケットの作成後にパスを追加できるため、すぐに決定する必要はありません。

ビジネスユニットレベルでコストを追跡するにはどうすればよいですか？

これは、アカウント戦略によって異なります。ビジネスユニットに個別の がある場合は AWS アカウント、各ビジネスユニットのバケットコストを反映するコスト配分タグを Amazon S3 バケットに割り当てることができます。

アカウント戦略でビジネスユニットが異なる に分割されていない場合は AWS アカウント、ビジネスユニットごとに異なるバケットを使用できます。などのバケット名にビジネスユニットを追加しますexampleco-businessunit1-raw-useast1-12345-dev。ただし、これは多くの Amazon S3 バケットを管理する必要があることを意味します。

命名基準を作成するときに考慮すべき機能は何ですか？

Amazon S3 バケット名で、バケットレベルでしか利用できない機能を使用していることを確認する必要があります。たとえば、コストタグ、バケット暗号化、バージョニングは、Amazon S3 バケット全体でのみ使用できる機能です。つまり、バケット内のすべてのオブジェクトとパスに適用されます。

オブジェクトのバージョニングも考慮すべき重要な機能です。raw レイヤーの Amazon S3 バケットのバージョニングを有効にする必要があります。これにより、データに変更があった場合に、以前のバージョンにアクセスできるようになります。ただし、データレイク内のすべてのレイヤーにバージョニングが必要なわけではなく、複数のバージョンを保持すると不要なコストが発生する可能性があります。