[STORAGE_API] Usar valor default de _ingestionDatetime na tabela BQ no Intake

Description

01 - STAKEHOLDER (quem valida e esclarece):
02 - PROBLEMA (cenário e/ou dor):

Ao inserir dados via STORAGE_API, o valor default configurado pra tabela BQ não é inserido. Para o valor não ficar nulo, passamos a incluir esse valor via código do Dataflow. Dessa maneira, o valor inserido não equivale ao valor exato que o dado aterrisou na tabela. Para o Clockin, por exemplo, esse valor da ingestionDatetime atribuído via código afeta seu funcionamento, não permitindo assim a migração de tenants que usam o app para STORAGE_API.

03 - OBJETIVO (solução proposta):

Permitir que a tabela BQ atribua o valor default para _ingestionDatetime quando o dado aterrisa no BQ.

Validação do tempo entre ingestionDatetime e _CHANGE_TIMESTAMP do BQ:

select *
from (
select   _CHANGE_TYPE,
  _CHANGE_TIMESTAMP, 
  timestamp_diff(_CHANGE_TIMESTAMP, timestamp(_ingestionDatetime), SECOND) difff,
  * 
from   appends(
    table `ingestion_clockinrecords`,
    timestamp('2024-10-07T00:00:00.000000'), current_timestamp()
  )
)
where
 difff > 0
order by difff desc

image-20241007-153602.png

04 - QUEM PODE USAR (perfis de usuários):
05 - ASSETS (links e arquivos relevantes):
06 - CRITÉRIOS DE ACEITE:

  • Desenvolvimento e testes da solução para deixar de atribuir a coluna ingestionDatatime no Dataflow com o método STORAGE_API.
    • Deploy será conduzido pelo card .

Activity

Automation for Jira 25 October 2024, 21:41 Jira Internal Users

@Cindy de Araujo Soares Moore ,
@Renan Fernando Schroeder ,

Este issue foi planejada para ser entregue até 2024-11-15. Você pode confirmar consultando o campo Due Date desta issue.

Data já planejadas para esta issue: 2024-11-15

Se o campo External Issue Link estiver preenchido com o link de uma issue válida no Jira Produção o cliente também será notificado no Jira Produção.