[STORAGE_API] Usar valor default de _ingestionDatetime na tabela BQ no Intake
Description
01 - STAKEHOLDER (quem valida e esclarece):
02 - PROBLEMA (cenário e/ou dor):
Ao inserir dados via STORAGE_API, o valor default configurado pra tabela BQ não é inserido. Para o valor não ficar nulo, passamos a incluir esse valor via código do Dataflow. Dessa maneira, o valor inserido não equivale ao valor exato que o dado aterrisou na tabela. Para o Clockin, por exemplo, esse valor da ingestionDatetime atribuído via código afeta seu funcionamento, não permitindo assim a migração de tenants que usam o app para STORAGE_API.
03 - OBJETIVO (solução proposta):
Permitir que a tabela BQ atribua o valor default para _ingestionDatetime quando o dado aterrisa no BQ.
Validação do tempo entre ingestionDatetime e _CHANGE_TIMESTAMP do BQ:
select *
from (
select _CHANGE_TYPE,
_CHANGE_TIMESTAMP,
timestamp_diff(_CHANGE_TIMESTAMP, timestamp(_ingestionDatetime), SECOND) difff,
*
from appends(
table `ingestion_clockinrecords`,
timestamp('2024-10-07T00:00:00.000000'), current_timestamp()
)
)
where
difff > 0
order by difff desc
04 - QUEM PODE USAR (perfis de usuários):
05 - ASSETS (links e arquivos relevantes):
06 - CRITÉRIOS DE ACEITE:
- Desenvolvimento e testes da solução para deixar de atribuir a coluna ingestionDatatime no Dataflow com o método STORAGE_API.
- Deploy será conduzido pelo card
CAPL-6844: [STORAGE_API] [Deploy] Usar valor default de _ingestionDatetime na tabela BQ ...Done.
- Deploy será conduzido pelo card
@Cindy de Araujo Soares Moore ,
@Renan Fernando Schroeder ,
Este issue foi planejada para ser entregue até 2024-11-15. Você pode confirmar consultando o campo Due Date desta issue.
Data já planejadas para esta issue: 2024-11-15
Se o campo External Issue Link estiver preenchido com o link de uma issue válida no Jira Produção o cliente também será notificado no Jira Produção.