Objetivo

• Documentar passos e reescrever pipeline dataflow streaming para aumentar resiliência.

• Pontos a serem considerados:

  • Não precisamos fazer agregação no inicio da pipeline para consolidar dados, uma vez que a tendência é que não tenhamos dados duplicados na mesma request.

  • ❌ Sem rodar agregação no início da pipeline do Dataflow Streaming, o objetivo é que o ACK dos dados ocorra ao final da pipeline.

    • >> não é possível controlar o ack das mensagens em uma pipeline do dataflow

  • Devemos usar o storage write API.

    • >> AC para um segundo card, divisão de escopo

  • Regras de negócio a serem considerados:

    • Mecanismo para sensibilizar processamento de pipelines SQL.

      • >> feito em

        CAPL-7267: Task SQL não esta sendo sensibilizada por eventosDone

    • Atributos especificos para tenants unificadas (caso gesplan).

      • >> feito em

        CAPL-7494: Novo branch da feature que foi dado rollback (falta do drain estar funcionando)Done

    • Alimentar a tabela RECORD_STEPS para auditoria.

    • Gravar dados no GCS/CDS Staging deve ser um novo parâmetro, o qual iremos desativar gradativamente.

    • Gravar dados na tenant unificada, se a tenant cliente tiver apps instalado com unificada configurado.

    • Gravar dados na tenant cliente, na staging area.