Execuções programadas e baseadas em eventos para pipelines do Processador de atributos

As execuções do pipeline de processamento de recursos do Amazon SageMaker Feature Store podem ser configuradas para serem iniciadas de forma automática e assíncrona com base em uma programação pré-configurada ou como resultado de outro evento de serviço. AWS Por exemplo, você pode programar pipelines de processamento de atributos para serem executados no primeiro dia de cada mês ou encadear dois pipelines juntos para que um pipeline de destino seja executado automaticamente após a conclusão da execução do pipeline de origem.

Execuções baseadas em programação

O Feature Processor SDK fornece um recurso scheduleAPIpara executar pipelines do Feature Processor de forma recorrente com a integração com o Amazon EventBridge Scheduler. A programação pode ser especificada com uma cron expressão atrate,, ou usando o ScheduleExpressionparâmetro com as mesmas expressões suportadas pela Amazon EventBridge. O cronograma API é semanticamente uma operação invertida, pois atualiza o cronograma, se ele já existir; caso contrário, ele o cria. Para obter mais informações sobre EventBridge expressões e exemplos, consulte Tipos de EventBridge agendamento no Scheduler no Guia do usuário do EventBridge Scheduler.

Os exemplos a seguir usam o Feature Processor scheduleAPIatrate, usando as cron expressões, e.

from sagemaker.feature_store.feature_processor import schedule
pipeline_name='feature-processor-pipeline'

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="at(2020-11-30T00:00:00)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="rate(24 hours)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="cron(0 0-23/1 ? * * 2023-2024)"
)

O fuso horário padrão para as entradas de data e hora no schedule API estão em. UTC Para obter mais informações sobre expressões de EventBridge agendamento do Scheduler, consulte a documentação ScheduleExpressionde API referência do EventBridge Scheduler.

As execuções programadas do pipeline do Processador de atributos fornecem à sua função de transformação o tempo de execução programado, para ser usado como um token de idempotência ou um ponto de referência fixo para entradas baseadas em intervalos de datas. Para desativar (ou seja, pausar) ou reativar um agendamento, use o state parâmetro scheduleAPIcom ‘DISABLED’ ou‘ENABLED’, respectivamente.

Para obter mais informações sobre o Processador de atributos, consulte Fontes de SDK dados do Feature Processor.

Execuções baseadas em eventos

Um pipeline de processamento de recursos pode ser configurado para ser executado automaticamente quando um evento AWS ocorrer. O Feature Processing SDK fornece uma put_triggerfunção que aceita uma lista de eventos de origem e um pipeline de destino. Os eventos de origem devem ser instâncias de FeatureProcessorPipelineEvent, que especificam um pipeline e eventos de status de execução.

A put_trigger função configura uma EventBridge regra e uma meta da Amazon para rotear eventos e permite que você especifique um padrão de EventBridge evento para responder a qualquer AWS evento. Para obter informações sobre esses conceitos, consulte EventBridge as regras, metas e padrões de eventos da Amazon.

Os gatilhos podem ser ativados ou desativados. EventBridge iniciará a execução de um pipeline de destino usando a função fornecida no role_arn parâmetro do put_triggerAPI. A função de execução é usada por padrão se SDK for usada em um ambiente Amazon SageMaker Studio Classic ou Notebook. Para obter informações sobre como obter sua função de execução, consulteObtenha sua função de execução.

O exemplo a seguir define:

• Um SageMaker pipeline usando o to_pipelineAPI, que inclui o nome do pipeline de destino (target-pipeline) e sua função de transformação (transform). Para obter informações sobre seu Processador de atributos e a função de transformação, consulte Fontes de SDK dados do Feature Processor.

• Um gatilho usando o put_triggerAPI, que absorve FeatureProcessorPipelineEvent o evento e o nome do seu pipeline de destino (target-pipeline).

  O FeatureProcessorPipelineEvent define o gatilho para quando o status do seu pipeline de origem (source-pipeline) se torna Succeeded. Para obter informações sobre a função de evento do Pipeline do Processador de atributos, consulte FeatureProcessorPipelineEvent na seção Ler os documentos da Feature Store.

from sagemaker.feature_store.feature_processor import put_trigger, to_pipeline, FeatureProcessorPipelineEvent

to_pipeline(pipeline_name="target-pipeline", step=transform)

put_trigger(
    source_pipeline_events=[
        FeatureProcessorPipelineEvent(
            pipeline_name="source-pipeline",
            status=["Succeeded"]
        )
    ],
    target_pipeline="target-pipeline"
)

Para obter um exemplo do uso de gatilhos baseados em eventos para criar execuções contínuas e novas tentativas automáticas para seu pipeline do Processador de atributos, consulte Execuções contínuas e novas tentativas automáticas usando gatilhos baseados em eventos.

Para obter um exemplo do uso de gatilhos baseados em eventos para criar streaming contínuo e novas tentativas automáticas usando gatilhos baseados em eventos, consulte Exemplos de fontes de dados personalizadas de streaming.