Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Migrazione dei carichi di lavoro da Step AWS Data Pipeline Functions
AWS ha lanciato il AWS Data Pipeline servizio nel 2012. A quel tempo, i clienti desideravano un servizio che consentisse loro di utilizzare una varietà di opzioni di elaborazione per spostare i dati tra diverse fonti di dati. Man mano che le esigenze di trasferimento dei dati sono cambiate nel tempo, sono cambiate anche le soluzioni a tali esigenze. Ora avete la possibilità di scegliere la soluzione che più si avvicina alle vostre esigenze aziendali. Ad esempio, puoi eseguire le operazioni elencate di seguito:
-
Usa Step Functions per orchestrare i flussi di lavoro tra più persone. Servizi AWS
-
Usa Amazon Managed Workflows for Apache Airflow (Amazon MWAA) per gestire l'orchestrazione del flusso di lavoro per Apache Airflow.
-
Usalo per eseguire e orchestrare le applicazioni Apache Spark. AWS Glue
Puoi migrare i casi d'uso tipici AWS Data Pipeline verso Step Functions o Amazon MWAA. AWS Glue L'opzione scelta dipende dal carico di lavoro corrente su. AWS Data Pipeline Questo argomento spiega come migrare da Step Functions AWS Data Pipeline a Step Functions.
Argomenti
Migrazione dei carichi di lavoro da AWS Data Pipeline
Step Functions è un servizio di orchestrazione serverless che consente di creare flussi di lavoro per applicazioni aziendali critiche. Con Workflow Studio di Step Functions, puoi creare flussi di lavoro e integrarli con più di 11.000 azioni API tra oltre 250. Servizi AWS Ciò include Servizi AWS Amazon EMR e Amazon DynamoDB. AWS Lambda Puoi anche usare Step Functions per orchestrare le pipeline di elaborazione dei dati, gestire gli errori e lavorare con limiti di limitazione sul sottostante. Servizi AWS Puoi creare flussi di lavoro che elaborano e pubblicano modelli di machine learning, orchestrano microservizi e gestiscono flussi di lavoro di estrazione, trasformazione e caricamento (ETL). AWS Glue Puoi anche creare flussi di lavoro automatizzati e di lunga durata per applicazioni che richiedono l'interazione umana.
Step Functions è un servizio completamente gestito fornito da AWS. Ciò significa che AWS
gestisce al posto tuo attività
Se il tuo caso d'uso soddisfa le seguenti condizioni, ti consigliamo di AWS Data Pipeline migrare da Step Functions:
-
Preferisci un servizio di orchestrazione del flusso di lavoro senza server e ad alta disponibilità.
-
È necessaria una soluzione che addebiti in base alla granularità dell'esecuzione di una singola attività.
-
I tuoi carichi di lavoro prevedono l'orchestrazione di attività per molti altri Servizi AWS, come Amazon EMR, Lambda o DynamoDB. AWS Glue
-
Hai bisogno di una soluzione low-code con un visual designer per la creazione di flussi di lavoro. drag-and-drop Questa soluzione non dovrebbe richiedere l'apprendimento di concetti di programmazione complessi e sconosciuti.
-
È necessario un servizio che si integri con oltre 250 azioni API Servizi AWS che coprano oltre 11.000 azioni API. Questo servizio deve inoltre integrarsi con servizi e attività personalizzati esterni a. AWS
Mappatura concettuale tra Step Functions e AWS Data Pipeline
AWS Data Pipeline e Step Functions condividono alcuni concetti comuni. Ad esempio, per definire i flussi di lavoro, si utilizza il formato JSON sia in Step Functions che in Step AWS Data Pipeline Functions. In Step Functions, si utilizza Amazon States Language un linguaggio strutturato basato su JSON. Utilizzi Amazon States Language (ASL) per definire i flussi di lavoro e passare dalla rappresentazione testuale a quella visiva del flusso di lavoro. Questo formato basato su JSON aiuta a semplificare l'archiviazione dei flussi di lavoro in uno strumento di controllo del codice sorgente. Inoltre, consente di gestire più versioni dei flussi di lavoro, controllarne l'accesso o automatizzarne l'orchestrazione con metodi CI/CD.
La tabella seguente descrive la mappatura tra i concetti principali utilizzati in entrambi i servizi. La colonna dei concetti di Data pipeline a sinistra elenca i concetti in Step Functions AWS Data Pipeline, mentre la colonna dei concetti di Step Functions a destra elenca i concetti equivalenti in Step Functions.
| Concetti relativi alla pipeline di dati | Concetti di Step Functions |
|---|---|
| Pipeline | Flussi di lavoro |
| Definizione della pipeline | Amazon States Language(ASL) |
| Attività | States e Stato dell'attività |
| Istanze | Esecuzioni |
| Tentativi | Cacciatori e retrier |
| Pianificazione della pipeline | |
| Espressioni e funzioni della pipeline |
Progetti di esempio di Step Functions
Per un'introduzione a Step Functions, guarda il seguente video:
L'elenco seguente descrive alcuni progetti di esempio che implementano i casi AWS Data Pipeline d'uso più comuni con Step Functions. È possibile utilizzare questi progetti di esempio come riferimento per la migrazione AWS Data Pipeline da Step Functions. Puoi anche usarli come base per creare flussi di lavoro personalizzati e integrarli con quelli supportati in Servizi AWS base al tuo caso d'uso.
Per ulteriori informazioni su Step Functions, consulta i seguenti argomenti e risorse:
Confronto dei prezzi
AWS Data Pipeline ha un prezzo in base al numero di condotte e al loro livello di utilizzo. Le attività eseguite più di una volta al giorno (alta frequenza) hanno un prezzo di 1 USD al mese per attività. Le attività eseguite una volta al giorno o meno (bassa frequenza) hanno un prezzo di 0,60 USD al mese per attività. Le pipeline inattive hanno un prezzo di 1 USD per pipeline. Per ulteriori informazioni sui prezzi, consulta la pagina dei prezzi. AWS Data Pipeline
Step Functions ha due tipi di flussi di lavoro: Standard ed Express. Ogni tipo di flusso di lavoro ha un modello di prezzo diverso. Questo confronto si basa sul flusso di lavoro Standard poiché corrisponde meglio ai casi d'uso comuni di AWS Data Pipeline. I flussi di lavoro standard hanno un prezzo di 0,025 USD per 1000 transizioni di stato. Non è previsto alcun costo per le macchine a stati inattive; si paga solo per ciò che si utilizza. Per ulteriori informazioni sui prezzi, consulta la pagina AWS Step Functions dei prezzi
