Gesplan - Tasks demorando para finalização
Description
- Issue Jira Produção: https://jiraproducao.totvs.com.br/browse/DLABSCAPL-4267
Boa tarde. Estamos com registros chegando em staging tables, mas as tasks que estão subindo apresentam a mensagem Data to process was not found or not ready
Tenants:
https://totvstechfin.carol.ai/tenant3e69dc3666fc41288c990bf52a2e0cec
_____________________________________________________________________
Ex 1,
Tasks que subiram durante e após o horário de chegada do registro:
_____________________________________________________________________
Ex2
no filtro acima, o RecordId 1c3a630024319ec5b805afdfa623657f não foi contemplado pelas tasks ContaPagar_previsto.
no filtro acima, o RecordId 77b163e4fd42cb03903ac4948790623b chegou 16:40 mas só foi contemplado na task das 17:27 - taskid= 2177c5aa-dbc5-40c6-8320-9d66134c4158
_____________________________________________________________________
| Questões gerais (obrigatórias) | Respostas |
|---|---|
| 1) Qual o seu segmento TOTVS? | Protheus |
| 2) Qual o produto / Carol APP relacionado? | gesplanprotheuslink |
| 3) Informe o ambiente impactado: | ( ) Desenvolvimento ( ) Homologação ( ) Implatanção ( x ) Produção |
| 4) Informe a fase/estágio | ( ) É um Projeto ( x ) É cenário em Produção |
| 5) Informe a prioridade desta issue. | *MÉDIA: Não ocorre em ambiente produtivo e nem possui impacto financeiro direto; Exemplos: problemas em ambientes de teste, homologação ou desenvolvimento. |
| Informe o tipo de problema/dúvida que descreve a sua situação. |
02 - PROBLEMA (Qual é o problema):
Em análise identificamos tasks da Carol de SQL Processing trancadas por 30 minutos quando o job do BQ ja havia concluido:
Tasks:
Issue que foi tratado tema semelhante:
CAPL-5194: Process Data Tasks taking too long to finish - stuck BQ statusDone
03 - PASSOS PARA REPRODUZIR (Passo (1...n), Vídeo, Prints, Pastas de log, etc. – Se não for possível reproduzir explique a razão): <texto>
04 - LINKS (Adicione o link para o Bug ou Tenant): <texto>
05 - COMPORTAMENTO ESPERADO (Relacione o comportamento esperado após Bug corrigido): <texto>
- Tasks SQL Processing stuck por ~30 minutos enquanto o job no BQ leva aproximadamente 3-4 minutos com o waiting time.
- Elas voltam a processar sem mensagem adicional.
Activity
Details
Priority
Highest
@Cindy de Araujo Soares Moore , @Ieda Beatriz Closa Brasil , @Gabriel DAmore Marciano , @Geny Isam Hamud Herrera
Você acabou de concluir a issue https://jiraproducao.totvs.com.br/browse/DLABSCAPL-4267 no Jira Produção e seu comentário anterior foi adicionado como informação de encerramento. Issue TOTVS IDEIA também foi concluída.
#close:
Problema/dúvida em questão (na perspectiva do desenvolvedor): As tasks de processamento SQL dependem de processamentos externos a plataforma (jobs de BQ e jobs do Dataflow). Verificamos periodicamente o status desses jobs e quando o número de tasks executadas em paralelo é alta, ocorre um atraso nessa verificação para se dar a task como DONE.
Causa raiz do problema (Caso não se aplique, informe "NA"): Fila muito grande de verificação de jobs das tasks de processamento SQL.
Solução dada ao tema/dúvida: Novas estratégias de priorização da fila de verificação desses jobs foram implementadas e com a nova versão em produção faremos testes mudando essa prioridade e avaliar qual tem uma melhor resposta no tempo de conclusão das tasks.
Orientações gerais para validação (Caso não se aplique, informe "NA"): Tempo de duração das tasks deve ser próximo a soma do tempo que seus jobs externos executaram.
Versão de correção e previsão de lançamento: v4.122.0 (2024-05-09)
cc/ @Geny Isam Hamud Herrera @Gabriel DAmore Marciano
Esta issue foi automaticamente movida para WAITING DEPLOY, pois o PR foi mergeado na branch master no Github.
Esta issue foi automaticamente movimentada para QA REVIEW, pois o PR foi aprovado no Github.
Github usuário lucasnoetzold realizou um commit e issue foi retornada para a coluna REVIEW no Kanban.
Esta issue foi automaticamente movida para WAITING DEPLOY, pois o PR foi mergeado na branch master no Github.
Github usuário lucasnoetzold realizou um commit e issue foi retornada para a coluna REVIEW no Kanban.
Github usuário lucasnoetzold realizou um commit e issue foi retornada para a coluna REVIEW no Kanban.
Esta issue foi automaticamente movida para WAITING DEPLOY, pois o PR foi mergeado na branch master no Github.
Github usuário douglascoimbra aprovou um PR e foi adicionado como Shared Assignee nesta issue.
feat: https://totvsideia.atlassian.net/browse/CAPL-5817#icft=CAPL-5817 Otimização de reprocessamento de tasks do BigQuery desalocadas
Esta issue foi automaticamente movimentada para QA REVIEW, pois o PR foi aprovado no Github.
Target end alterado pra hoje, faltam alguns testes e evidencia.
@Ieda Beatriz Closa Brasil , @Cindy de Araujo Soares Moore , @Gabriel DAmore Marciano , @Renan Schroeder
Comentário enviado para o Jira Produção - https://jiraproducao.totvs.com.br/browse/DLABSCAPL-4267:
Informamos que esta issue foi incluída em uma sprint com previsão de entrega até 2024-05-27 (podendo ocorrer retorno antes). Não é necessário retornar esta interação, caso não tenha dúvidas. Qualquer alteração de planejamento será novamente notificada nesta issue.
Atenciosamente,
Equipe TOTVS Inteligência de Dados e IA.
@Gabriel DAmore Marciano , @Ieda Beatriz Closa Brasil , @Cindy de Araujo Soares Moore , @Gabriel DAmore Marciano , @Renan Schroeder
Este issue foi planejada para ser entregue até 2024-05-27. Você pode confirmar consultando o campo Due Date desta issue.
Data já planejadas para esta issue: 2024-05-06, 2024-05-27
Se o campo External Issue Link estiver preenchido com o link de uma issue válida no Jira Produção o cliente também será notificado no Jira Produção.
Target end alterado por conta de uma mudança de escopo na solução.
Foi identificado que a exclusão de task de tenants excluídas está atrasando o processo de deslocação de task, contribuindo para o cenário descrito aqui.
@Cindy de Araujo Soares Moore , @Ieda Beatriz Closa Brasil ,
Comentário enviado para o Jira Produção - https://jiraproducao.totvs.com.br/browse/DLABSCAPL-4267:
Iniciamos a trabalhar em sua issue e manteremos você informado!
Atenciosamente,
Equipe TOTVS Inteligência de Dados e IA.
@Ieda Beatriz Closa Brasil ,
@Geny Isam Hamud Herrera ,
Comentário enviado para o Jira Produção - https://jiraproducao.totvs.com.br/browse/DLABSCAPL-4267:
Informamos que esta issue foi incluída em uma sprint com previsão de entrega até 2024-05-10 (podendo ocorrer retorno antes). Não é necessário retornar esta interação, caso não tenha dúvidas. Qualquer alteração de planejamento será novamente notificada nesta issue.
Atenciosamente,
Equipe TOTVS Inteligência de Dados e IA.
@MARCOS STUMPF , @Ieda Beatriz Closa Brasil ,
@Geny Isam Hamud Herrera ,
Esta issue foi planejada para ser entregue até 2024-05-06. Você pode confirmar consultando o campo Due Date desta issue.
Datas já planejadas para esta issue: 2024-05-06
Se o campo External Issue Link estiver preenchido com o link de uma issue válida no Jira Produção o cliente também será notificado no Jira Produção.
Link para a thread da mensagem no Slack canal #red-phone:
https://totvsideia.slack.com/archives/C03NT4US9J9/p1713539090570449
@Ieda Beatriz Closa Brasil ,
@Geny Isam Hamud Herrera ,
Comentário enviado para o Jira Produção - https://jiraproducao.totvs.com.br/browse/DLABSCAPL-4267:
Esta issue está em replanejamento e assim que tivermos uma nova data prevista voltaremos a informar.
Atenciosamente,
Equipe TOTVS Inteligência de Dados e IA.
@MARCOS STUMPF , @Ieda Beatriz Closa Brasil , @Bruno Furtado ,
Este issue foi movida para outro projeto.
Link https://totvsideia.atlassian.net/browse/CAPL-5817 foi atualizado no Jira Produção (campo URL Documento Técnico).
@MARCOS STUMPF , @Ieda Beatriz Closa Brasil , @Bruno Furtado ,
Esta issue acabou de ser vinculada na(s) issue(s) https://totvsideia.atlassian.net/browse/CAPL-5194#icft=CAPL-5194, conforme menções feitas no campo description.
@Ieda Beatriz Closa Brasil ,
@Danilo Queiroz Mota ,
Comentário enviado para o Jira Produção - https://jiraproducao.totvs.com.br/browse/DLABSCAPL-4267:
Informamos que esta issue foi incluída em uma sprint com previsão de entrega até 2024-05-09 (podendo ocorrer retorno antes). Não é necessário retornar esta interação, caso não tenha dúvidas. Qualquer alteração de planejamento será novamente notificada nesta issue.
Atenciosamente,
Equipe TOTVS Inteligência de Dados e IA.
@Ieda Beatriz Closa Brasil ,
@Danilo Queiroz Mota ,
Atenção!
Alterações no(s) campo(s) description da issue Jira Produção.
@Ieda Beatriz Closa Brasil ,
@Danilo Queiroz Mota ,
Atenção!
Alterações no(s) campo(s) Attachment da issue Jira Produção.