01 - STAKEHOLDER (quem valida e esclarece):

@MARCOS STUMPF @Douglas Coimbra Lopes @Robson Thanael Poffo

02 - PROBLEMA (cenário e/ou dor):

Atualmente a integração Carol / IDeIA, possui um processo de cópia de dados BigQuery da Carol para IDeIA que consiste na:

• Carga inicial dos dados de tabelas STG e DM da plataforma Carol.

• Importação dos dados em entidades de mesmo nome na plataforma IDeIA.

No entanto, com a introdução da camada de Baixa Latência (PG) em ambas as plataformas, falta replicarmos o mesmo processo de cópia de dados acima para o IDeIA, a partir da ativação da Baixa Latência nas tabelas STG / DM na plataforma Carol.

03 - OBJETIVO (solução proposta):

• Efetuar a cópia completa dos dados de entidades BigQuery para sua respectiva camada de Baixa Latência, quando criada.

Atenção: Atualmente, apenas novos dados enviados após habilitação da Baixa Latência estão sendo importados.

04 - QUEM PODE USAR (perfis de usuários):

tenant admin

05 - ASSETS (links e arquivos relevantes):

Não é necessário, pois envolve apenas backend.

06 - CRITÉRIOS DE ACEITE:

• Criar tarefa independente no IDeIA para a cópia dos dados BigQuery para Baixa Latência:

  • A tarefa de ativação da baixa latência será independente da tarefa de cópia de dados.

  • A tarefa deve monitorar o inicio / fim da cópia dos dados.

  • A tarefa deve cobrir cenários na Tenant Cliente, Desenvolvimento e Unificada da Carol.

  • A tarefa efetuará a leitura dos dados da camada BigQuery do IDeIA para posteriormente carregar esses dados no Baixa Latência.

  • A tarefa deve possuir os parâmetros:

    • Tipo da escrita: Update (adiciona dados) ou Override (sobrescreve dados)

    • Filtro de consulta: Recebe um filtro que deve ser aplicado na consulta de leitura dos dados do BigQuery. Esse filtro é opcional.

• Ao habilitar Baixa Latência em uma STG/DM com dados em tenant da Carol, permitir a execução de processos de cópia de dados no lado IDeIA disparados por evento a partir da Carol.

  • Eventos que a Carol vai disparar a tarefa para iniciar a cópia de dados do lado IDeIA:

    • Carga inicial, na habilitação do baixa latência, essa tarefa de cópia será acionada.

    • Recarga de Dados, no evento de reprovisionamento BigQuery (total ou parcial), essa tarefa de cópia será acionada.

    • Cópia de dados de um novo cliente na tenant unificada, no evento de copy data após o cliente ter instalado o Carol App, essa tarefa de cópia será acionada.

      • Atendido através da issue

        CAPL-8389: [Carol: BL] Dados de baixa latência em staging unified escritos na entidade d...Done
        .

    • Checkout de pipeline na tenant unificada, essa tarefa de cópia será acionada.

    • Cópia de dados manual na tenant unificada, no evento de copy data manual para um cliente específico, essa tarefa de cópia será acionada.

  • Nos eventos envolvendo a Tenant Unificada:

    • Separar a cópias de dados para unificada em duas tarefas independentes, a que já existe para BQ e criar uma nova para cópia de dados para BL.

• Modelo de contrato para recebimento do evento Carol e acionamento da tarefa do lado IDeIA:

  • Utilizar a mesma estrutura utilizada para o sync do BL que temos hoje.

ESTAMOS ACORDANDO QUE O DOD será sem o Deploy em PROD pois cairia na última sexta-feira.

Gabriel na semana de starship e trazendo visão complementar do que foi acordado na daily (27/05):

Devido ao card de emergência

CAPL-10562: 2C - Erro para habilitar tabelaDone

1. Adicionando a label de TRADE-OFF no card, já que o mesmo se encontra em REVIEW e não faz sentido movimentarmos para a sprint 29.

2. Caso haja rollover (ou seja, a sprint terminou e o card não foi para Done), este card não deve ser considerado rollover.