Conversione di SSIS pacchetti in with AWS Glue StudioAWS Schema Conversion Tool

È possibile utilizzare AWS SCT per convertire i pacchetti di Microsoft SQL Server Integration Services (SSIS) in AWS Glue Studio.

Un SSISpacchetto include i componenti necessari, come il gestore delle connessioni, le attività, il flusso di controllo, il flusso di dati, i parametri, i gestori di eventi e le variabili, per eseguire un'attività specifica di estrazione, trasformazione e caricamento (ETL). AWS SCT converte i SSIS pacchetti in un formato compatibile con. AWS Glue Studio Dopo aver migrato il database di origine in Cloud AWS, è possibile eseguire questi AWS Glue Studio lavori convertiti per eseguire attivitàETL.

Per convertire SSIS i pacchetti Microsoft in AWS Glue Studio, assicurati di utilizzare la AWS SCT versione 1.0.661 o successiva.

Prerequisiti

In questa sezione, scopri le attività prerequisite per la conversione dei SSIS pacchetti in. AWS Glue Queste attività includono la creazione AWS delle risorse necessarie nel tuo account.

È possibile utilizzare AWS Identity and Access Management (IAM) per definire le politiche e i ruoli necessari per accedere alle risorse AWS Glue Studio utilizzate. Per ulteriori informazioni, consulta IAMAutorizzazioni per l' AWS Glue Studio utente.

Dopo aver AWS SCT convertito gli script di origine in AWS Glue Studio, carica gli script convertiti in un bucket Amazon S3. Assicurati di creare questo bucket Amazon S3 e di selezionarlo nelle impostazioni del profilo del AWS servizio. Per ulteriori informazioni sulla creazione di un bucket S3, consulta Create your first S3 bucket nella Amazon Simple Storage Service User Guide.

Per assicurarti che AWS Glue Studio possa connettersi al tuo data store, crea un connettore e una connessione personalizzati. Inoltre, memorizza le credenziali del database in AWS Secrets Manager.

Per creare un connettore personalizzato

1. Scarica il JDBC driver per il tuo archivio dati. Per ulteriori informazioni sui JDBC driver che AWS SCT utilizza, consultaInstallazione JDBC dei driver per AWS Schema Conversion Tool.

2. Carica questo file di driver nel tuo bucket Amazon S3. Per ulteriori informazioni, consulta Caricare un oggetto nel bucket nella Guida per l'utente di Amazon Simple Storage Service.

3. Accedi AWS Management Console e apri la AWS Glue Studio console all'indirizzo https://console.aws.amazon.com/gluestudio/.

4. Scegli Connettori, quindi scegli Crea connettore personalizzato.

5. Per Connector S3 URL, scegli Browse S3 e scegli il file del JDBC driver che hai caricato nel tuo bucket Amazon S3.

6. Inserisci un nome descrittivo per il connettore. Ad esempio, specifica SQLServer.

7. Per Tipo di connettore, scegli JDBC.

8. In Nome della classe, inserisci il nome della classe principale del JDBC conducente. Per SQL Server, inseriscicom.microsoft.sqlserver.jdbc.SQLServerDriver.

9. Per JDBCURLbase, inserisci la JDBC baseURL. La sintassi della JDBC base URL dipende dal motore di database di origine. Per SQL Server, usa il seguente formato:jdbc:sqlserver://$<host>:$<port>;databaseName=$<dbname>;user=$<username>;password=$<password>.

   Assicurati di sostituire <host>, <port>, <dbname>, <username>e <password> con i tuoi valori.

10. Per il delimitatore URL dei parametri, inserite il punto e virgola (). ;

11. Scegli Create connector (Crea connettore).

Per memorizzare le credenziali del database in AWS Secrets Manager

1. Accedi a AWS Management Console e apri la AWS Secrets Manager console all'indirizzo https://console.aws.amazon.com/secretsmanager/.

2. Scegli Archivia un nuovo segreto.

3. Nella pagina Choose secret type (Scegli il tipo di segreto), effettua le seguenti operazioni:

   1. Per Tipo segreto, scegli Altro tipo di segreto.

   2. Per le coppie chiave/valore, inserisci le seguenti chiavi:host,, port dbnameusername, e. password

      Successivamente, inserisci i valori per queste chiavi.

4. Nella pagina Configura segreto inserisci un nome descrittivo del segreto. Ad esempio, specifica SQL_Server_secret.

5. Scegli Next (Successivo). Quindi, nella pagina Configura rotazione, scegli nuovamente Avanti.

6. Nella pagina Verifica rivedi i dettagli del segreto e quindi scegli Archivio.

Per creare una connessione per il connettore

1. Accedi a AWS Management Console e apri la AWS Glue Studio console all'indirizzo https://console.aws.amazon.com/gluestudio/.

2. Scegli il connettore per il quale desideri creare una connessione, quindi scegli Crea connessione.

3. Nella pagina Crea connessione, inserisci un nome descrittivo per la connessione. Ad esempio, specifica SQL-Server-connection.

4. Per AWS Segreto, scegli il segreto in AWS Secrets Manager cui hai creato.

5. Configura le opzioni di rete, quindi scegli Crea connessione.

Ora puoi creare un AWS Glue Studio lavoro con un connettore personalizzato. Per ulteriori informazioni, consulta Creare AWS Glue Studio posti di lavoro.

Aggiungere SSIS pacchetti al AWS SCT progetto

Puoi aggiungere più SSIS pacchetti a un singolo AWS SCT progetto.

Per aggiungere un SSIS pacchetto al tuo AWS SCT progetto

1. Crea un nuovo progetto AWS SCT o apri un progetto esistente. Per ulteriori informazioni, consulta Avvio e gestione di progetti in AWS SCT.

2. Scegli Aggiungi sorgente dal menu, quindi scegli SQLServer Integration Services.

3. Per Nome della connessione, inserisci un nome per i tuoi SSIS pacchetti. AWS SCT visualizza questo nome nell'albero nel pannello di sinistra.

4. Per la cartella SSIS dei pacchetti, inserisci il percorso della cartella con SSIS i pacchetti sorgente.

5. Scegliete Aggiungi destinazione dal menu, quindi scegliete AWS Glue Studio.

   Per connetterti AWS Glue Studio, AWS SCT usa il tuo AWS profilo. Per ulteriori informazioni, consulta Gestione dei profili in AWS Schema Conversion Tool.

6. Crea una regola di mappatura che includa il SSIS pacchetto sorgente e la AWS Glue Studio destinazione. Per ulteriori informazioni, consulta Mappatura dei tipi di dati in AWS Schema Conversion Tool.

7. Crea AWS Glue Studio connessioni nella AWS Glue Studio console. Per ulteriori informazioni, vedere Creazione di connessioni per i connettori.

8. Scegli Gestori di connessioni nell'albero a sinistra, apri il menu contestuale (fai clic con il pulsante destro del mouse), quindi scegli Configura connessioni.

   AWS SCT visualizza la finestra Configura connessioni.

9. Per ogni SSIS connessione sorgente, scegli una AWS Glue Studio connessione.

Conversione dei SSIS pacchetti in with AWS Glue StudioAWS SCT

Di seguito, scopri come convertire SSIS i pacchetti in AWS Glue Studio uso AWS SCT.

Per convertire un SSIS pacchetto in AWS Glue Studio

1. Aggiungi il SSIS pacchetto al tuo AWS SCT progetto. Per ulteriori informazioni, consulta Aggiungere SSIS pacchetti al AWS SCT progetto.

2. Nel pannello di sinistra, espandi i SSISnodi ETLand.

3. Scegliete Pacchetti, aprite il menu contestuale (fate clic con il pulsante destro del mouse), quindi scegliete Converti pacchetto.

   AWS SCT converte i SSIS pacchetti selezionati in JSON file. Questi JSON oggetti rappresentano un nodo in un grafo aciclico diretto (). DAG Trova i file convertiti nel DAGs nodo Package nell'albero a destra.

4. Scegli Package DAGs, apri il menu contestuale (fai clic con il pulsante destro del mouse), quindi scegli Salva su Amazon S3.

   Ora puoi usare questi script per creare lavori in. AWS Glue Studio

Creazione AWS Glue Studio di lavori utilizzando il codice convertito

Dopo aver convertito SSIS i pacchetti sorgente, potete utilizzare i JSON file convertiti per creare AWS Glue Studio lavori.

Per creare un AWS Glue Studio lavoro

1. Scegli Package DAGs nell'albero a destra, apri il menu contestuale (fai clic con il pulsante destro del mouse), quindi scegli Configura AWS Glue Studio lavoro.

2. (Facoltativo) Applica il pacchetto di estensione che emula SSIS le funzioni in AWS Glue Studio.

3. Viene visualizzata la finestra Configura AWS Glue Studio lavoro.

   Completa la sezione Proprietà di base del lavoro:

   • Nome: inserisci il nome del tuo AWS Glue Studio lavoro.

   • Nome del file di script: inserisci il nome dello script di lavoro.

   • Parametri Job: aggiungi parametri e inserisci i relativi valori.

   Scegli Next (Successivo).

4. Completa la sezione Proprietà avanzate del lavoro:

   • IAMRuolo: scegli il IAM ruolo utilizzato per l'autorizzazione AWS Glue Studio e l'accesso agli archivi dati.

   • Percorso S3 del file di script: inserisci il percorso Amazon S3 dello script convertito.

   • Directory temporanea: inserisci il percorso di Amazon S3 in una directory temporanea per risultati intermedi. AWS Glue Studio utilizza questa directory per leggere o scrivere su Amazon Redshift.

   • AWS SCT genera automaticamente il percorso per le librerie Python. Puoi rivedere questo percorso in Percorso della libreria python generata. Non puoi modificare questo percorso generato automaticamente. Per utilizzare librerie Python aggiuntive, inserisci il percorso in User python library path.

   • Percorso della libreria Python utente: immetti i percorsi per le librerie Python utente aggiuntive. Separa i percorsi di Amazon S3 con virgole.

   • Percorso dependent jars: inserisci i percorsi per i file dipendenti. *.jar Separa i percorsi di Amazon S3 con virgole.

   • Percorso dei file di riferimento: inserisci i percorsi per i file aggiuntivi, come i file di configurazione, richiesti dallo script. Separa i percorsi di Amazon S3 con virgole.

   • Tipo di lavoratore: scegli G.1X o. G.2X

     Quando si sceglie, G.1X ogni worker viene associato a 1 DPU (4 vCPU, 16 GB di memoria e 64 GB di disco).

     Quando si sceglie, G.2X ogni worker viene mappato a 2 DPU (8 vCPU, 32 GB di memoria e 128 GB di disco).

   • Numero richiesto di lavoratori: immettere il numero di lavoratori assegnati al momento dell'esecuzione del lavoro.

   • Concorrenza massima: immettere il numero massimo di esecuzioni simultanee consentite per questo lavoro. L'impostazione predefinita è 1. AWS Glue restituisce un errore quando viene raggiunta questa soglia.

   • Job timeout (minuti): inserisci il valore di timeout del tuo ETL lavoro come protezione contro i lavori inutilizzati. L'impostazione predefinita è 2.880 minuti (48 ore) per i lavori in batch. Se il processo supera questo limite, lo stato di esecuzione del processo cambia in. TIMEOUT

   • Soglia di notifica di ritardo (minuti): immettere la soglia in minuti prima di AWS SCT inviare una notifica di ritardo.

   • Numero di tentativi: immettere il numero di volte (da 0 a 10) che AWS Glue devono riavviare automaticamente il processo in caso di esito negativo. I lavori che raggiungono il limite di timeout non vengono riavviati. Il valore predefinito è 0.

   Scegli Fine.

   AWS SCT configura i lavori selezionati. AWS Glue Studio

5. Trova i lavori configurati in ETLJob nell'albero a destra. Scegli il lavoro configurato, apri il menu contestuale (fai clic con il pulsante destro del mouse), quindi scegli Crea AWS Glue Studio lavoro.

6. Scegli lo stato di candidatura e assicurati che il valore dello status per il tuo lavoro sia Successo.

7. Apri la AWS Glue Studio console, scegli Aggiorna e scegli il tuo lavoro. Quindi scegli Esegui.

Creazione di un rapporto di valutazione per un SSIS pacchetto con AWS SCT

Il rapporto di valutazione della ETL migrazione fornisce informazioni sulla conversione dei SSIS pacchetti in un formato compatibile con AWS Glue Studio. Il rapporto di valutazione include le azioni da intraprendere per i componenti dei SSIS pacchetti. Queste azioni mostrano quali componenti non AWS SCT possono essere convertiti automaticamente.

Per creare un rapporto di valutazione della ETL migrazione

1. Espandi il SSISnodo sottostante ETLnel pannello di sinistra.

2. Scegli Pacchetti, apri il menu contestuale (fai clic con il pulsante destro del mouse), quindi scegli Crea rapporto.

3. Visualizza la scheda Riepilogo. Qui AWS SCT vengono visualizzate le informazioni di riepilogo esecutivo tratte dal rapporto di valutazione della ETL migrazione. Include i risultati di conversione per tutti i componenti dei SSIS pacchetti.

4. (Facoltativo) Salva una copia locale del rapporto di valutazione della ETL migrazione come PDF file o file con valori separati da virgole ()CSV:

   • Per salvare il rapporto di valutazione della ETL migrazione come PDF file, scegli Salva in in alto PDF a destra.

     Il PDF file contiene il riepilogo esecutivo, le azioni da intraprendere e i consigli per la conversione degli script.

   • Per salvare il rapporto di valutazione della ETL migrazione come CSV file, scegli Salva CSV in in alto a destra.

     AWS SCT crea tre CSV file. Questi file contengono azioni, azioni consigliate e una stima della complessità dello sforzo manuale richiesto per convertire gli script.

5. Scegli la scheda Elementi d'azione. Questa scheda contiene un elenco di elementi che richiedono la conversione manuale in AWS Glue Studio. Quando scegli un'azione dall'elenco, AWS SCT evidenzia l'elemento del SSIS pacchetto sorgente a cui si applica l'azione.

SSIScomponenti che AWS SCT possono essere convertiti in AWS Glue Studio

È possibile utilizzare AWS SCT per convertire componenti e parametri del flusso di SSIS dati in AWS Glue Studio.

I componenti del flusso di dati supportati includono quanto segue:

• ADONETDestinazione

• ADONETFonte

• Aggregazione

• Mappa dei personaggi

• Divisione condizionale

• Copia colonna

• Conversione dei dati

• Colonna derivata

• Cercare

• Unione

• Merge join

• Multicast

• ODBCDestination

• ODBCSource

• OLEDBDestination

• OLEDBSource

• Numero di righe

• Ordina

• SQLDestinazione del server

• Unisci tutti

AWS SCT può convertire più SSIS componenti in AWS Glue. Per ulteriori informazioni, consulta SSIScomponenti che AWS SCT possono essere convertiti in AWS Glue.