Revisão no campo Duration da UI - Inconsistência no registro de duração de tasks

Description

Prezados,

Após alguns reports da techfin, notamos que o campo Duration das tasks está sendo calculado de forma a levar o usuário ao erro para determinar quanto tempo uma task realmente durou.

Entendemos internamente que o tempo cálculo de tempo de task se dá hoje pelo mdmUpdated - mdmCreated da task e que os tempos dos exemplos abaixo são altos pois provavelmente a task foi criada e ficou sem logs por diversos minutos, porém isso gera uma confusão para o usuário (a task demorou 5 minutos ou 1h05min?).

Dessa forma, estamos abrindo essa issue para que possamos discutir mudanças nesses registros de tempo. De primeiro momento pensamos em algumas alternativas:

  1. Registrar no log da task, no primeiro log emitido, a data e hora de criação da task, assim teriamos consistência entre LOG e UI.
  2. Apenas contabilizar o processamento da task (log Job to process into table tt_temp_... até Dataflow job finished with the state DONE)
  3. Retirar o campo Duration da UI.

Alguns exemplos que encontramos no tenant https://totvstechfindev.carol.ai/antecipaprotheusunif :

Task: https://totvstechfindev.carol.ai/antecipaprotheusunif/carol-ui/tasks/activity/62936def-ed6b-4a03-9b6d-0eca00c7b522

Duration: 1h 5min

Porém nos logs da task, temos uma diferença de apenas 3 minutos de inicio da task até finalização da mesma.

image-20240917-143523.png

Task: https://totvstechfindev.carol.ai/antecipaprotheusunif/carol-ui/tasks/activity/304488fa-7d75-4cb2-a796-dfaa38eeec74

Duration: 1h 5min

Porém nos logs da task, temos uma diferença de apenas 4 minutos de início da task até a finalização da mesma.

Qualquer dúvida seguimos à disposição.

Att,

Logs stackdriver ligado a task em questão:

https://console.cloud.google.com/logs/query;query=SEARCH%2528"62936defed6b4a039b6d0eca00c7b522"%2529;cursorTimestamp=2024-09-12T21:52:08.369Z;aroundTime=2024-09-12T13:05:17.217Z;duration=P1D?project=labs-app-mdm-production

Objetivo


Breakdown tempos para tasks SQL Processing

Tempo de espera: created date/time para inicio task
Tempo de execução total: inicio task + ultima atualização:
Tempo de execução pipeline: obter dos logs
Tempo processamento dados: tempo data flow :: termino execução query para inicio dataflow.
Tempo para envio dos dados para subscription

Activity

Automation for Jira 27 September 2024, 19:36 Jira Internal Users

@Breno Zipoli Monteiro Papa ,
@Ingo Wagner , @Carlos Affonso Wagner ,

Este issue foi planejada para ser entregue até 2024-10-18. Você pode confirmar consultando o campo Due Date desta issue.

Data já planejadas para esta issue: 2024-10-18

Se o campo External Issue Link estiver preenchido com o link de uma issue válida no Jira Produção o cliente também será notificado no Jira Produção.