Execuções programadas e baseadas em eventos para pipelines do Processador de atributos

As execuções do pipeline de processamento de recursos do Amazon SageMaker Feature Store podem ser configuradas para serem iniciadas de forma automática e assíncrona com base em uma programação pré-configurada ou como resultado de outro evento de serviço. AWS Por exemplo, você pode programar pipelines de processamento de atributos para serem executados no primeiro dia de cada mês ou encadear dois pipelines juntos para que um pipeline de destino seja executado automaticamente após a conclusão da execução do pipeline de origem.

Execuções baseadas em programação

O Feature Processor SDK fornece uma scheduleAPI para executar pipelines do Feature Processor de forma recorrente com a integração com o Amazon EventBridge Scheduler. A programação pode ser especificada com uma cron expressão atrate,, ou usando o ScheduleExpressionparâmetro com as mesmas expressões suportadas pela Amazon EventBridge. A API de programação é semanticamente uma operação de inserção, pois atualiza a programação, se ele já existir; caso contrário, ela o cria. Para obter mais informações sobre EventBridge expressões e exemplos, consulte Tipos de EventBridge agendamento no Scheduler no Guia do usuário do EventBridge Scheduler.

Os exemplos a seguir usam a API schedule do Processador de atributos, usando as expressões at, rate e cron.

from sagemaker.feature_store.feature_processor import schedule
pipeline_name='feature-processor-pipeline'

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="at(2020-11-30T00:00:00)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="rate(24 hours)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="cron(0 0-23/1 ? * * 2023-2024)"
)

O fuso horário padrão para entradas de data e hora na API schedule é o UTC. Para obter mais informações sobre as expressões de EventBridge agendamento do Scheduler, consulte a documentação ScheduleExpressionde referência da API do EventBridge Scheduler.

As execuções programadas do pipeline do Processador de atributos fornecem à sua função de transformação o runtime programado, para ser usado como um token de idempotência ou um ponto de referência fixo para entradas baseadas em intervalos de datas. Para desativar (ou seja, pausar) ou reativar uma programação, use o parâmetro state da API schedule com ‘DISABLED’ ou‘ENABLED’, respectivamente.

Para obter mais informações sobre o Processador de atributos, consulte Fontes de dados do SDK do Processador de atributos.

Execuções baseadas em eventos

Um pipeline de processamento de atributos pode ser configurado para ser executado automaticamente quando um evento AWS ocorrer. O SDK de Processamento de atributos fornece uma função put_trigger que aceita uma lista de eventos de origem e um pipeline de destino. Os eventos de origem devem ser instâncias de FeatureProcessorPipelineEvent, que especificam um pipeline e eventos de status de execução.

A put_trigger função configura uma EventBridge regra e uma meta da Amazon para rotear eventos e permite que você especifique um padrão de EventBridge evento para responder a qualquer AWS evento. Para obter informações sobre esses conceitos, consulte EventBridge as regras, metas e padrões de eventos da Amazon.

Os gatilhos podem ser ativados ou desativados. EventBridge iniciará a execução de um pipeline de destino usando a função fornecida no role_arn parâmetro da put_trigger API. A função de execução é usada por padrão se o SDK for usado em um ambiente Amazon SageMaker Studio Classic ou Notebook. Para obter informações sobre como obter sua função de execução, consulteObtenha um perfil de execução.

O seguinte exemplo define:

• Um pipeline de SageMaker IA usando a to_pipeline API, que inclui o nome do pipeline de destino (target-pipeline) e sua função de transformação (transform). Para obter informações sobre seu Processador de atributos e a função de transformação, consulte Fontes de dados do SDK do Processador de atributos.

• Um gatilho usando a API put_trigger, que absorve o FeatureProcessorPipelineEvent para o evento e o nome do seu pipeline de destino (target-pipeline).

  O FeatureProcessorPipelineEvent define o gatilho para quando o status do seu pipeline de origem (source-pipeline) se torna Succeeded. Para obter informações sobre a função de evento do Pipeline do Processador de atributos, consulte FeatureProcessorPipelineEvent na seção Ler os documentos do Feature Store.

from sagemaker.feature_store.feature_processor import put_trigger, to_pipeline, FeatureProcessorPipelineEvent

to_pipeline(pipeline_name="target-pipeline", step=transform)

put_trigger(
    source_pipeline_events=[
        FeatureProcessorPipelineEvent(
            pipeline_name="source-pipeline",
            status=["Succeeded"]
        )
    ],
    target_pipeline="target-pipeline"
)

Para obter um exemplo do uso de gatilhos baseados em eventos para criar execuções contínuas e novas tentativas automáticas para seu pipeline do Processador de atributos, consulte Execuções contínuas e novas tentativas automáticas usando gatilhos baseados em eventos.

Para obter um exemplo do uso de gatilhos baseados em eventos para criar streaming contínuo e novas tentativas automáticas usando gatilhos baseados em eventos, consulte Exemplos de fontes de dados personalizadas de streaming.