チェックサムによるデータ整合性保護 - AWS SDK for Go v2

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

チェックサムによるデータ整合性保護

Amazon Simple Storage Service (Amazon S3) では、オブジェクトをアップロードするときにチェックサムを指定できます。チェックサムを指定すると、そのチェックサムはオブジェクトとともに保存され、オブジェクトのダウンロード時に検証できます。

チェックサムは、ファイルを転送する際のデータの整合性をさらに強化します。チェックサムを使用すると、受信したファイルが元のファイルと一致することを確認することで、データ整合性を検証できます。Amazon S3 でのチェックサムの詳細については、サポートされているアルゴリズムを含む Amazon Simple Storage Service ユーザーガイドを参照してください。

ニーズに最適なアルゴリズムを柔軟に選択して、SDK にチェックサムを計算させることができます。または、サポートされているアルゴリズムのいずれかを使用して、事前に計算されたチェックサム値を指定することもできます。

注記

Amazon S3 モジュールのバージョン v1.74.1 以降、SDK はアップロードのCRC32チェックサムを自動的に計算することで、デフォルトの整合性保護を提供します。事前計算されたチェックサム値を指定しない場合、または SDK がチェックサムの計算に使用するアルゴリズムを指定しない場合、SDK はこのチェックサムを計算します。

SDK には、外部で設定できるデータ整合性保護のグローバル設定も用意されています。詳細については、 AWS SDKsおよびツールリファレンスガイドを参照してください。

チェックサムについては、オブジェクトのアップロードとオブジェクトのダウンロードという 2 つのリクエストフェーズで説明します。

オブジェクトのアップロード

putObject メソッドを使用してオブジェクトをアップロードし、チェックサムアルゴリズムを指定すると、SDK は指定されたアルゴリズムのチェックサムを計算します。

次のコードスニペットは、CRC32チェックサムを含むオブジェクトをアップロードするリクエストを示しています。SDK がリクエストを送信すると、CRC32チェックサムが計算され、オブジェクトがアップロードされます。Amazon S3 は、チェックサムを計算し、SDK が提供するチェックサムと比較することで、コンテンツの整合性を検証します。次に、Amazon S3 はチェックサムを オブジェクトとともに保存します。

out, err := s3Client.PutObject(context.Background(), &s3.PutObjectInput{ Bucket: aws.String("bucket"), Key: aws.String("key"), ChecksumAlgorithm: types.ChecksumAlgorithmCrc32, Body: strings.NewReader("Hello World"), })

リクエストでチェックサムアルゴリズムを指定しない場合、チェックサムの動作は、次の表に示すように使用する SDK のバージョンによって異なります。

チェックサムアルゴリズムが指定されていない場合のチェックサムの動作

の Amazon S3 モジュールバージョン AWS SDK for Go チェックサムの動作
v1.74.1 より前 SDK は CRC ベースのチェックサムを自動的に計算せず、リクエストで指定します。
v1.74.1 以降

SDK はCRC32アルゴリズムを使用してチェックサムを計算し、リクエストで提供します。Amazon S3 は、独自のCRC32チェックサムを計算して転送の整合性を検証し、SDK が提供するチェックサムと比較します。チェックサムが一致した場合、チェックサムは オブジェクトとともに保存されます。

事前に計算されたチェックサム値を使用してください。

リクエストで事前に計算されたチェックサム値を指定すると、SDK による自動計算が無効になり、代わりに提供された値が使用されます。

次の例は、事前に計算された SHA256 チェックサムを持つリクエストを示しています。

out, err := s3Client.PutObject(context.Background(), &s3.PutObjectInput{ Bucket: aws.String("bucket"), Key: aws.String("key"), ChecksumCRC32: aws.String("checksumvalue"), Body: strings.NewReader("Hello World"), })

Amazon S3 が、指定されたアルゴリズムのチェックサム値が正しくないと判断した場合、サービスはエラーレスポンスを返します。

マルチパートアップロード

チェックサムはマルチパートアップロードでも使用できます。

AWS SDK for Go には、マルチパートアップロードでチェックサムを使用する 2 つのオプションがあります。最初のオプションでは、アップロードのCRC32アルゴリズムを指定する転送マネージャーを使用します。

s3Client := s3.NewFromConfig(cfg) transferManager := manager.NewUploader(s3Client) out, err := transferManager.Upload(context.Background(), &s3.PutObjectInput{ Bucket: aws.String("bucket"), Key: aws.String("key"), Body: large file to trigger multipart upload, ChecksumAlgorithm: types.ChecksumAlgorithmCrc32, })

アップロードに Transfer Manager を使用するときにチェックサムアルゴリズムを指定しない場合、SDK はCRC32アルゴリズムに基づいて自動的に計算およびチェックサムを行います。SDK は、SDK のすべてのバージョンに対してこの計算を実行します。

2 番目のオプションでは、Amazon S3 クライアントを使用してマルチパートアップロードを実行します。このアプローチでチェックサムを指定する場合は、アップロードの開始時に使用するアルゴリズムを指定する必要があります。また、パートリクエストごとにアルゴリズムを指定し、アップロード後にパートごとに計算されたチェックサムを指定する必要があります。

s3Client := s3.NewFromConfig(cfg) createMultipartUploadOutput, err := s3Client.CreateMultipartUpload(context.Background(), &s3.CreateMultipartUploadInput{ Bucket: aws.String("bucket"), Key: aws.String("key"), ChecksumAlgorithm: types.ChecksumAlgorithmCrc32, }) if err != nil { log.Fatal("err create multipart upload ", err) } var partsBody []io.Reader // this is just an example parts content, you should load your target file in your code partNum := int32(1) var completedParts []types.CompletedPart for _, body := range partsBody { uploadPartOutput, err := s3Client.UploadPart(context.Background(), &s3.UploadPartInput{ Bucket: aws.String("bucket"), Key: aws.String("key"), ChecksumAlgorithm: types.ChecksumAlgorithmCrc32, Body: body, PartNumber: aws.Int32(partNum), UploadId: createMultipartUploadOutput.UploadId, }) if err != nil { log.Fatal("err upload part ", err) } completedParts = append(completedParts, types.CompletedPart{ PartNumber: aws.Int32(partNum), ETag: uploadPartOutput.ETag, ChecksumCRC32: uploadPartOutput.ChecksumCRC32, }) partNum++ } completeMultipartUploadOutput, err := s3Client.CompleteMultipartUpload(context.Background(), &s3.CompleteMultipartUploadInput{ Bucket: aws.String("bucket"), Key: aws.String("key"), UploadId: createMultipartUploadOutput.UploadId, MultipartUpload: &types.CompletedMultipartUpload{ Parts: completedParts, }, }) if err != nil { log.Fatal("err complete multipart upload ", err) }

オブジェクトのダウンロード

GetObject メソッドを使用してオブジェクトをダウンロードすると、 の ChecksumModeフィールドが に設定されている場合、SDK GetObjectInputは自動的にチェックサムを検証しますtypes.ChecksumModeEnabled

次のスニペット内のリクエストは、チェックサムを計算して値を比較することでレスポンス内のチェックサムを検証するよう SDK に指示します。

out, err := s3Client.GetObject(context.Background(), &s3.GetObjectInput{ Bucket: aws.String("bucket"), Key: aws.String("key"), ChecksumMode: types.ChecksumModeEnabled, })

オブジェクトがチェックサム付きでアップロードされなかった場合、検証は行われません。