Lavorare con Task Runner

Task Runner è un'applicazione task agent che analizza AWS Data Pipeline le attività pianificate e le esegue su istanze Amazon EC2, cluster Amazon EMR o altre risorse di calcolo, segnalando lo stato in corso. A seconda dell'applicazione, è possibile scegliere di:

• Consenti di installare e gestire AWS Data Pipeline una o più applicazioni Task Runner per te. Quando viene attivata una pipeline, viene creato automaticamente il valore predefinito Ec2Instance o EmrCluster l'oggetto a cui fa riferimento un campo RunSon di attività. AWS Data Pipeline si occupa dell'installazione di Task Runner su un'istanza EC2 o sul nodo master di un cluster EMR. In questo modello, AWS Data Pipeline può occuparsi della maggior parte della gestione dell'istanza o del cluster per te.

• Eseguire tutta o parte di una pipeline su risorse gestite dall'utente. Le risorse potenziali includono un'istanza Amazon EC2 a lunga durata, un cluster Amazon EMR o un server fisico. È possibile installare un task runner (che può essere Task Runner o un task agent personalizzato del proprio dispositivo) quasi ovunque, a condizione che sia in grado di comunicare con il servizio Web. AWS Data Pipeline In questo modello, si assume il controllo quasi completo su quali risorse vengono utilizzate e su come vengono gestite, ed è necessario installare e configurare manualmente Task Runner. Per eseguire questa operazione, utilizzare le procedure di questa sezione, come descritto in Esecuzione di lavori su risorse esistenti utilizzando Task Runner.