Ajustes dos dados enviados no evento CarolPipelinesExecutionSummary
Description
Texto padrão para issuetype Story conforme DoR (Definition of Ready)
01 - STAKEHOLDER (Pessoa que pode validar e responder questões):
@Robson Thanael Poffo @MARCOS STUMPF
02 - PROBLEMA (Qual o cenário ou dor a ser resolvida):
O time do Smartlink precisa de algumas informações adicionais para ajudá-los a cruzar o que a Plataforma Carol enviou de observabilidade dos dados processados e enviados para os clientes com o que os TotvsApps enviaram.
03 - OBJETIVO (Descreva a solução proposta):
Para isso, nos atuais eventos de CarolPipelinesExecutionSummary algumas informações adicionais serão enviadas no corpo do evento para auxiliar o time do Smartlink a fazer esses cruazamentos de informações.
CarolPipelinesExecutionSummary:
Devemos adicionar dois novos atributos originalGoldenRecordCount e originalRejectedRecordCount que irão representar a quantidade de Goldens e Rejected processados SEM DEDUPLICAÇÃO.
04 - QUEM PODE USAR (Quais perfis de usuários):
Todos os clientes que utilizarem o Smartlink e tiverem a eficiência batch habilitada.
05 - ASSETS (Links do Figma, documentos relevantes, Json, etc):
06 - CRITÉRIOS DE ACEITE:
- Adicionar as informações conforme descrito no item 3 - Objetivo no corpo dos eventos.
- Adicionar as novas informações no tasklog da task de summary
Activity
Details
Priority
Highest
Esta issue foi automaticamente movida para WAITING DEPLOY, pois o PR foi mergeado na branch master no Github.
Esta issue foi automaticamente movimentada para QA REVIEW, pois o PR foi aprovado no Github.
Flag removed
Conforme explicado aqui
Após alinhar com o sobre os cenários, temos o seguinte:
1. Vou puxar o tema com para acrescentarmos na nossa que o parâmetro saveToRealtime faz a deduplicação on-the-fly caso esteja habilitado
2. Esse cenário está esperado dentro da arquitetura de processamento que temos hoje dentro da Carol. O que eu irei fazer é marcar uma agenda com o time de Observabilidade para explicar os cenários que explicam porque a quantidade de registros processados não é determinístico. Aqui vou pedir um apoio seu para gravarmos os cenários que fizemos hoje à tarde junto com o rodando 2 batches em paralelo. Podemos aprofundar mais amanhã para eu explicar o cenário para levarmos a conhecimento do time de Observabilidade
Por esses motivos, estou tirando a flag do card e estamos autorizados a subir esse card amanhã
Mensagem enviada pelo Slack - plataforma-carol-internal - Gabriel D'Amore Marciano
Card revalidado pelo time de QA. Pendente apenas ambos os topicos acima + code review
Mensagem enviada pelo Slack - plataforma-carol-internal - Douglas Coimbra Lopes
. Update Testes . cc
• Esse card esta com uma flag por 2 principais motivos:
1. O parâmetro de pipeline de `savetoRealtime` esta fazendo deduplicação on-the-fly da temp table para as tabelas golden e rejected do datamodel.
2. A quantidade de registros processados por um batch para um DM, nao é determinístico pelas pipelines envolvidas no processamento, pois podemos ter cenários de
a. Reprocessamento da task
b. Pipelines serem executadas em tasks diferentes, onde, essas pipelines referenciam o mesmo source entity.
• O está por dentro desses cenários e irá alinhar com o para tomarmos a decisão sobre a subida desse card à produção.
• Obs puxei o card de DOING para Code Review.
Mensagem editada no Slack - plataforma-carol-internal - Douglas Coimbra Lopes
. Update Testes . cc
• Esse card esta com uma flag por 2 principais motivos:
1. O parâmetro de pipeline de `savetoRealtime` esta fazendo deduplicação on-the-fly da temp table para as tabelas golden e rejected do datamodel.
2. A quantidade de registros processados por um batch para um DM, nao é determinístico pelas pipelines envolvidas no processamento, pois podemos ter cenários de
a. Reprocessamento da task
b. Pipelines serem executadas em tasks diferentes, onde, essas pipelines referenciam o mesmo source entity.
• O está por dentro desses cenários e irá alinhar com o para tomarmos a decisão sobre a subida desse card à produção.
Mensagem enviada pelo Slack - plataforma-carol-internal - Douglas Coimbra Lopes
DEDUPLICATED VS VIEW RECORDS
@MARCOS STUMPF ,
@Gabriel DAmore Marciano , @Reinaldo Oliveira Machado Junior , @Douglas Coimbra Lopes , @Renan Schroeder
Flag foi removida, pois você acabou de alterar o status desta issue.
:rotating_light: Peguei um cenario no evento do summary count. A tabela teve 12 records onde 6 sao deduplicados. Porem, no evento, sao apresentados como se houvessem 10 registros unicos. cc
Batch: `dougBatch`
staging`: purchaseorder`
sandbox
View vs Deduplicated view:
datamodel: `mdmdpurchaseorder`
Mensagem editada no Slack - plataforma-carol-internal - Douglas Coimbra Lopes
@Reinaldo Oliveira Machado Junior Peguei um cenario no evento do summary count. A tabela teve 12 records onde 6 sao deduplicados. Porem, no evento, sao apresentados como se houvessem 10 registros unicos
Batch:
dougBatchstaging
: purchaseordersandbox link
View vs Deduplicated view:
datamodel:
mdmdpurchaseorderSteps para reproducao:
Enviar 3 registros tabela product
Enviar 6 registros tabela purchaseorder
Apos alguns mins, enviar nova versao dos mesmos 6 records do purchaseorder
Enviar summary
Aguardar reprocessamento das pipelines + Evento
:rotating_light: Peguei um cenario no evento do summary count. A tabela teve 12 records onde 6 sao deduplicados. Porem, no evento, sao apresentados como se houvessem 10 registros unicos
Batch: `dougBatch`
staging`: purchaseorder`
sandbox
View vs Deduplicated view:
datamodel: `mdmdpurchaseorder`
Mensagem enviada pelo Slack - plataforma-carol-internal - Douglas Coimbra Lopes
DEV TENANT DEDUPLICATED
Esta issue foi automaticamente movimentada para REVIEW, pois o PR (não DRAFT e não WIP) foi criado no Github.
feat: Adicionados os campos com o total de registros recebidos
@MARCOS STUMPF ,
@Gabriel DAmore Marciano , @Renan Schroeder
Este issue foi planejada para ser entregue até 2024-05-27. Você pode confirmar consultando o campo Due Date desta issue.
Data já planejadas para esta issue: 2024-05-27
Se o campo External Issue Link estiver preenchido com o link de uma issue válida no Jira Produção o cliente também será notificado no Jira Produção.