Valor de _ingestionDatetime das stagings não reflete a real data/hora de aterrizagem do registro
Description
Contato
- @Bruno Tortato Furtado
Problema
Estamos analisando um caso em que, aparentemente, o _ingestionDatetime não reflete o exato momento em que o registro aterriza no BigQuery.
Em resumo, utilizando a table function APPENDS do BigQuery (mais detalhes aqui), conseguimos verificar que há uma diferença de minutos entre o _ingestionDatetime e o momento do commit da transação, representado pelo campo interno do BQ _CHANGE_TIMESTAMP.
Por fim, isso gera um impacto no processamento.
Elaborei um documento com uma analise detalhada do caso:
https://docs.google.com/document/d/1FiY5k6v2LtmIhi2BFkHe87tyIcRPDPSYiqaJsyM5CAo/edit?usp=sharing
Este é o caso referente a issue
DAEN-5655: Carol - Falha na propagação do NSR.Done
Notas
- Thread do Slack: https://totvsideia.slack.com/archives/C03LA7B048G/p1728069075539959
Activity
Show:
Details
Priority
HighestAssignee
Cindy de Araujo Soares Moore
Reporter
Bruno Tortato Furtado
Labels
EMERGENCIANOT_PLANNED
Due Date
28 October 2024
Fix versions
CAPL_4.09
Components
CONNECTOR | DATA_INGESTION
Created
4 October 2024, 16:54
Updated
8 October 2024, 15:23
More fields
Created: 4 October 2024, 19:54
Updated:
8 October 2024, 18:23
@Bruno Tortato Furtado ,
@Robson Thanael Poffo ,
@Geny Isam Hamud Herrera ,
Esta issue foi planejada para ser entregue até 2024-10-18. Você pode confirmar consultando o campo Due Date desta issue.
Datas já planejadas para esta issue: 2024-10-18
Se o campo External Issue Link estiver preenchido com o link de uma issue válida no Jira Produção o cliente também será notificado no Jira Produção.
Link para a thread da mensagem no Slack canal #emergencia