Étape 3 : Création de bases de données Lake Formation - AWS Lake Formation

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Étape 3 : Création de bases de données Lake Formation

Au cours de cette étape, vous créez deux bases de données et attachez des balises LF aux bases de données et à des colonnes spécifiques à des fins de test.

Créez vos bases de données et votre table pour un accès au niveau de la base de données

  1. Créez d'abord la base de donnéestag_database, la table source_data et attachez les balises LF appropriées.

    1. Sur la console Lake Formation (https://console.aws.amazon.com/lakeformation/), sous Data Catalog, sélectionnez Databases.

    2. Choisissez Créer une base de données.

    3. Pour Name (Nom), saisissez tag_database.

    4. Dans Emplacement, entrez l'emplacement Amazon S3 créé par le AWS CloudFormation modèle(s3://lf-tagbased-demo-Account-ID/tag_database/).

    5. Désélectionnez Utiliser uniquement le contrôle d'accès IAM pour les nouvelles tables de cette base de données.

    6. Choisissez Créer une base de données.

  2. Ensuite, créez une nouvelle table à l'intérieurtag_database.

    1. Sur la page Bases de données, sélectionnez la base de donnéestag_database.

    2. Choisissez Afficher les tables, puis cliquez sur Créer une table.

    3. Pour Name (Nom), saisissez source_data.

    4. Pour Database (Base de données), choisissez la base de données tag_database.

    5. Pour Format de tableau, choisissez AWS Glue Tableau standard.

    6. Si les données se trouvent dans, sélectionnez le chemin spécifié dans mon compte.

    7. Pour Inclure le chemin, entrez le chemin tag_database créé par le AWS CloudFormation modèle(s3://lf-tagbased-demoAccount-ID/tag_database/).

    8. Pour le format des données, sélectionnez CSV.

    9. Sous Charger le schéma, entrez le tableau JSON suivant de structure de colonne pour créer un schéma :

       [
               {
                    "Name": "vendorid",
                    "Type": "string"
               },
               {
                    "Name": "lpep_pickup_datetime",
                    "Type": "string"                    
               },
               {
                    "Name": "lpep_dropoff_datetime",
                    "Type": "string"  
              
               },
                  {
                    "Name": "store_and_fwd_flag",
                    "Type": "string"                                
               },
                  {
                    "Name": "ratecodeid",
                    "Type": "string"                   
                    
               },
                  {
                    "Name": "pulocationid",
                    "Type": "string"                   
                    
               },
               {
                    "Name": "dolocationid",
                    "Type": "string"                   
                    
               },
                  {
                    "Name": "passenger_count",
                    "Type": "string"                   
                    
               },
               {
                    "Name": "trip_distance",
                    "Type": "string"                    
                    
               }, 
                  {
                    "Name": "fare_amount",
                    "Type": "string"                   
                    
               },
               {
                    "Name": "extra",
                    "Type": "string"                   
                    
               },
                  {
                    "Name": "mta_tax",
                    "Type": "string"                    
                    
               },
               {
                    "Name": "tip_amount",
                    "Type": "string"                   
                    
               },
                  {
                    "Name": "tolls_amount",
                    "Type": "string"                   
                    
               },
               {
                    "Name": "ehail_fee",
                    "Type": "string"                    
                    
               }, 
               {
                    "Name": "improvement_surcharge",
                    "Type": "string"                   
                    
               },
               {
                    "Name": "total_amount",
                    "Type": "string"                    
                    
               },
               {
                    "Name": "payment_type",
                    "Type": "string"                    
                    
               }
 ]

    10. Sélectionnez Charger. Après avoir chargé le schéma, le schéma de table doit ressembler à la capture d'écran suivante :

    11. Sélectionnez Envoyer.

  3. Ensuite, attachez des balises LF au niveau de la base de données.

    1. Sur la page Bases de données, recherchez et sélectionneztag_database.

    2. Dans le menu Actions, choisissez Modifier les balises LF.

    3. Choisissez Attribuer un nouveau tag LF.

    4. Pour les clés assignées, choisissez le Confidential tag LF que vous avez créé précédemment.

    5. Dans le champ Valeurs, sélectionnezTrue.

    6. Choisissez Enregistrer.

    Ceci termine l'attribution du tag LF à la base de données tag_database.

Créez votre base de données et votre table pour un accès au niveau des colonnes

Répétez les étapes suivantes pour créer la base de données col_tag_database et la tablesource_data_col_lvl, et attachez des balises LF au niveau de la colonne.

  1. Sur la page Bases de données, sélectionnez Créer une base de données.

  2. Pour Name (Nom), saisissez col_tag_database.

  3. Dans Emplacement, entrez l'emplacement Amazon S3 créé par le AWS CloudFormation modèle(s3://lf-tagbased-demo-Account-ID/col_tag_database/).

  4. Désélectionnez Utiliser uniquement le contrôle d'accès IAM pour les nouvelles tables de cette base de données.

  5. Choisissez Créer une base de données.

  6. Sur la page Bases de données, sélectionnez votre nouvelle base de données(col_tag_database).

  7. Choisissez Afficher les tables, puis cliquez sur Créer une table.

  8. Pour Name (Nom), saisissez source_data_col_lvl.

  9. Dans Base de données, choisissez votre nouvelle base de données(col_tag_database).

  10. Pour Format de tableau, choisissez AWS Glue Tableau standard.

  11. Si les données se trouvent dans, sélectionnez le chemin spécifié dans mon compte.

  12. Entrez le chemin Amazon S3 pour col_tag_database(s3://lf-tagbased-demo-Account-ID/col_tag_database/).

  13. Pour Format des données, sélectionnezCSV.

  14. SousUpload schema, entrez le schéma JSON suivant : 

    [
               {
                    "Name": "vendorid",
                    "Type": "string"
                    
                    
               },
               {
                    "Name": "lpep_pickup_datetime",
                    "Type": "string"
                    
                    
               },
               {
                    "Name": "lpep_dropoff_datetime",
                    "Type": "string"
                    
                    
               },
                  {
                    "Name": "store_and_fwd_flag",
                    "Type": "string"
                    
                    
               },
                  {
                    "Name": "ratecodeid",
                    "Type": "string"
                    
                    
               },
                  {
                    "Name": "pulocationid",
                    "Type": "string"
                    
                    
               },
               {
                    "Name": "dolocationid",
                    "Type": "string"
                    
                    
               },
                  {
                    "Name": "passenger_count",
                    "Type": "string"
                    
                    
               },
               {
                    "Name": "trip_distance",
                    "Type": "string"
                    
                    
               }, 
                  {
                    "Name": "fare_amount",
                    "Type": "string"
                    
                    
               },
               {
                    "Name": "extra",
                    "Type": "string"
                    
                    
               },
                  {
                    "Name": "mta_tax",
                    "Type": "string"
                    
                    
               },
               {
                    "Name": "tip_amount",
                    "Type": "string"
                    
                    
               },
                  {
                    "Name": "tolls_amount",
                    "Type": "string"
                    
                    
               },
               {
                    "Name": "ehail_fee",
                    "Type": "string"
                    
                    
               }, 
               {
                    "Name": "improvement_surcharge",
                    "Type": "string"
                    
                    
               },
               {
                    "Name": "total_amount",
                    "Type": "string"
                    
                    
               },
               {
                    "Name": "payment_type",
                    "Type": "string"
                    
                    
               }
]

  15. Sélectionnez Upload. Après avoir chargé le schéma, le schéma de table doit ressembler à la capture d'écran suivante.

  16. Choisissez Soumettre pour terminer la création de la table.

  17. Associez maintenant le Sensitive=True tag LF aux colonnes vendorid et. fare_amount

    1. Sur la page Tables, sélectionnez la table que vous avez créée(source_data_col_lvl).

    2. Dans le menu Actions, sélectionnez Schéma.

    3. Sélectionnez la colonne vendorid et choisissez Modifier les balises LF.

    4. Pour Clés attribuées, choisissez Sensitive.

    5. Dans le champ Valeurs, sélectionnez Vrai.

    6. Choisissez Enregistrer.

  18. Ensuite, associez le Confidential=False tag LF à. col_tag_database Cela est nécessaire pour lf-data-analyst pouvoir décrire la base de données col_tag_database lorsque vous êtes connecté depuis Amazon Athena.

    1. Sur la page Bases de données, recherchez et sélectionnezcol_tag_database.

    2. Dans le menu Actions, choisissez Modifier les balises LF.

    3. Choisissez Attribuer un nouveau tag LF.

    4. Pour les clés attribuées, choisissez le Confidential tag LF que vous avez créé précédemment.

    5. Dans le champ Valeurs, sélectionnezFalse.

    6. Choisissez Enregistrer.