Landing e Steps: faltando steps e divergência de dados

Description

Texto padrão para issuetype Bug conforme DoR (Definition of Ready)

01 - PESSOA DE CONTATO (Quem pode responder questões sobre o problema): <texto>
02 - PROBLEMA (Qual é o problema):

Arquivo original de casos a serem avaliados: https://docs.google.com/document/d/1igDsb4VAUSzPdEAa-OfbGhHd-RMvOsqJYaRv9Yq0K4s/edit

/Tenant Unificada/

Case 1:{{ Tenant com o último step: NATS_ERROR}}.

No dia 25/06 na `labs-app-mdm-production.intake.landing` temos a tenant '3d6120f0db6e436c9daa87f764d820d3' auditId = 'adacd7c1b94e2f6b' , mas na `labs-app-mdm-production.intake.records_steps` encontramos apenas os steps SPLIT_RECORDS e NATS_ERROR. Não seguindo o fluxo conforme esperado, pela documentação:

https://www.notion.so/totvsideia/AuditLog-Steps-e13d4a98527c4e6cb2f090a4610a0710

/tenantid = '3d6120f0db6e436c9daa87f764d820d3' auditId = 'adacd7c1b94e2f6b'/

SELECT tenantId, auditId, publish_time, step, JSON_VALUE(attributes, "$.responseMessage") as responseMessage

FROM `labs-app-mdm-production.intake.records_steps`

WHERE date(publish_time) = '2024-06-25'

AND tenantId = '3d6120f0db6e436c9daa87f764d820d3' AND auditId = 'adacd7c1b94e2f6b';

Case 2:{{ Tenant com o último step: NATS_ERROR}}.

No dia 25/06 na `labs-app-mdm-production.intake.landing` temos a tenant 'c9e3e76423f4459d9ef7f60ece47dbd7' auditId = '82ea7fd638ad0cd7', mas na `labs-app-mdm-production.intake.records_steps` encontramos apenas os steps SPLIT_RECORDS e NATS_ERROR. Não seguindo o fluxo conforme esperado, pela documentação:

https://www.notion.so/totvsideia/AuditLog-Steps-e13d4a98527c4e6cb2f090a4610a0710

/tenantid = 'c9e3e76423f4459d9ef7f60ece47dbd7' auditId = '82ea7fd638ad0cd7'/

SELECT tenantId, auditId, publish_time, step, JSON_VALUE(attributes, "$.responseMessage") as responseMessage

FROM `labs-app-mdm-production.intake.records_steps`

WHERE date(publish_time) = '2024-06-25'

AND tenantId = 'c9e3e76423f4459d9ef7f60ece47dbd7' AND auditId = '82ea7fd638ad0cd7';

Case 3: Tenant com o último step: BIGQUERY_UNIFIED_WRITER.

No dia 24/06 na `labs-app-mdm-production.intake.landing` temos a tenant 'e60fe13fca40454bbf51936075f82892' auditId = '92609ef4eda0b38f', mas na `labs-app-mdm-production.intake.records_steps` encontramos praticamente todos os steps, mas não temos o step BIGQUERY_CUSTOMER_WRITER.

Não seguindo o fluxo conforme esperado, pela documentação:

https://www.notion.so/totvsideia/AuditLog-Steps-e13d4a98527c4e6cb2f090a4610a0710

/*tenant = 'e60fe13fca40454bbf51936075f82892' auditId = '92609ef4eda0b38f' */

SELECT tenantId, auditId, publish_time, step, JSON_VALUE(attributes, "$.responseMessage") as responseMessage

FROM `labs-app-mdm-production.intake.records_steps`

WHERE date(publish_time) = '2024-06-24'

AND tenantId = 'e60fe13fca40454bbf51936075f82892' AND auditId = '92609ef4eda0b38f';

Case 4: Tenant com o último step: STAGING_PARQUET_WRITER.

No dia 20/06 na `labs-app-mdm-production.intake.landing` temos a tenant 'e60fe13fca40454bbf51936075f82892' auditId = 'b7f6fd28c76c09ac', mas na `labs-app-mdm-production.intake.records_steps` encontramos praticamente todos os steps, sendo o último step STAGING_PARQUET_WRITER, mas não temos os steps BIGQUERY_CUSTOMER_WRITER e BIGQUERY_UNIFIED_WRITER.

Não seguindo o fluxo conforme esperado, pela documentação:

https://www.notion.so/totvsideia/AuditLog-Steps-e13d4a98527c4e6cb2f090a4610a0710

/*tenant = 'e60fe13fca40454bbf51936075f82892' auditId = 'b7f6fd28c76c09ac' */

SELECT tenantId, auditId, publish_time, step, JSON_VALUE(attributes, "$.responseMessage") as responseMessage

FROM `labs-app-mdm-production.intake.records_steps`

WHERE date(publish_time) = '2024-06-20'

AND tenantId = 'e60fe13fca40454bbf51936075f82892' AND auditId = 'b7f6fd28c76c09ac';

Case 5: Tenant com o último step: STAGING_FLOW_PIPELINE.

No dia 06/06 na `labs-app-mdm-production.intake.landing` temos a tenant 'bcf283404d3545ddaf6f76bf1751cae7' auditId = '359e65ad4504f47f', mas na `labs-app-mdm-production.intake.records_steps` encontramos alguns steps, sendo o último step STAGING_FLOW_PIPELINE.

Não seguindo o fluxo conforme esperado, pela documentação:

https://www.notion.so/totvsideia/AuditLog-Steps-e13d4a98527c4e6cb2f090a4610a0710

/*tenant = 'bcf283404d3545ddaf6f76bf1751cae7' auditId = '359e65ad4504f47f' */

SELECT tenantId, auditId, publish_time, step, JSON_VALUE(attributes, "$.responseMessage") as responseMessage

FROM `labs-app-mdm-production.intake.records_steps`

WHERE date(publish_time) = '2024-06-06'

AND tenantId = 'bcf283404d3545ddaf6f76bf1751cae7' AND auditId = '359e65ad4504f47f';

/Tenant Customer/

Case 6:{{ Tenant com o último step: NATS_ERROR}}.

No dia 25/06 na `labs-app-mdm-production.intake.landing` temos a tenant 'c9e3e76423f4459d9ef7f60ece47dbd7' auditId = '74fd09c8ce5914be', mas na `labs-app-mdm-production.intake.records_steps` encontramos apenas os steps SPLIT_RECORDS e NATS_ERROR. Não seguindo o fluxo conforme esperado, pela documentação:

https://www.notion.so/totvsideia/AuditLog-Steps-e13d4a98527c4e6cb2f090a4610a0710

SELECT tenantId, auditId, publish_time, step, JSON_VALUE(attributes, "$.responseMessage") as responseMessage FROM `labs-app-mdm-production.intake.records_steps`

WHERE date(publish_time) = '2024-06-25'

and tenantId = 'c9e3e76423f4459d9ef7f60ece47dbd7' and auditId = '74fd09c8ce5914be';

Case 7:{{ Tenant com o último step: BIGQUERY_UNIFIED_WRITER}}.

No dia 04/06 na `labs-app-mdm-production.intake.landing` temos a tenant '3e5d56b4dec841e0a70b714295259fa6' auditId = 'a8562a2a4d6b7ad2', mas na `labs-app-mdm-production.intake.records_steps` encontramos praticamente todos os steps, mas não temos o step BIGQUERY_CUSTOMER_WRITER.

Não seguindo o fluxo conforme esperado, pela documentação:

https://www.notion.so/totvsideia/AuditLog-Steps-e13d4a98527c4e6cb2f090a4610a0710

SELECT tenantId, auditId, publish_time, step, JSON_VALUE(attributes, "$.responseMessage") as responseMessage FROM `labs-app-mdm-production.intake.records_steps`

WHERE date(publish_time) = '2024-06-04'

and tenantId = '3e5d56b4dec841e0a70b714295259fa6' and auditId = 'a8562a2a4d6b7ad2';

Case 8: Tenant com o último step: SPLIT_RECORDS.

No dia 16/06 na `labs-app-mdm-production.intake.landing` temos a tenant '76b5d3680af64a599817dbb690c46822' auditId = '022c3fd2d3d18ff2', mas na `labs-app-mdm-production.intake.records_steps` temos apenas o step SPLIT_RECORDS.

Não seguindo o fluxo conforme esperado, pela documentação:

https://www.notion.so/totvsideia/AuditLog-Steps-e13d4a98527c4e6cb2f090a4610a0710

SELECT tenantId, auditId, publish_time, step, JSON_VALUE(attributes, "$.responseMessage") as responseMessage FROM `labs-app-mdm-production.intake.records_steps`

WHERE date(publish_time) = '2024-06-16'

and tenantId = '76b5d3680af64a599817dbb690c46822' and auditId = '022c3fd2d3d18ff2';

CASE 9:{{ Tenant com o último step: STAGING_PARQUET_WRITER}}.

No dia 18/06 na `labs-app-mdm-production.intake.landing` temos a tenant 'e60fe13fca40454bbf51936075f82892' auditId = '1fb4370aa132399d', mas na `labs-app-mdm-production.intake.records_steps` encontramos praticamente todos os steps, sendo o último step STAGING_PARQUET_WRITER, mas não temos os steps BIGQUERY_CUSTOMER_WRITER e BIGQUERY_UNIFIED_WRITER.

Não seguindo o fluxo conforme esperado, pela documentação:

https://www.notion.so/totvsideia/AuditLog-Steps-e13d4a98527c4e6cb2f090a4610a0710

SELECT tenantId, auditId, publish_time, step, JSON_VALUE(attributes, "$.responseMessage") as responseMessage

FROM `labs-app-mdm-production.intake.records_steps`

WHERE date(publish_time) = '2024-06-18'

and tenantId = 'e60fe13fca40454bbf51936075f82892' and auditId = '1fb4370aa132399d';

Case 10:{{ Tenant com o último step: BIGQUERY_UNIFIED_WRITER}}.

No dia 24/06 na `labs-app-mdm-production.intake.landing` temos a tenant 'e60fe13fca40454bbf51936075f82892' auditId = '020bda47fc036ceb', mas na `labs-app-mdm-production.intake.records_steps` encontramos praticamente todos os steps, mas não temos o step BIGQUERY_CUSTOMER_WRITER.

Não seguindo o fluxo conforme esperado, pela documentação:

https://www.notion.so/totvsideia/AuditLog-Steps-e13d4a98527c4e6cb2f090a4610a0710

SELECT tenantId, auditId, publish_time, step, JSON_VALUE(attributes, "$.responseMessage") as responseMessage

FROM `labs-app-mdm-production.intake.records_steps`

WHERE date(publish_time) = '2024-06-24'

AND tenantId = 'e60fe13fca40454bbf51936075f82892' AND auditId = '020bda47fc036ceb';

05 - COMPORTAMENTO ESPERADO (Relacione o comportamento esperado após Bug corrigido): <texto>

  • Caso 1 até caso 10 com comportamentos corrigidos:
    • Registrar dentro da tabela steps motivo de um NATS_ERROR (caso 1, caso 2, caso 6)
    • Tenant faltando o step BIGQUERY_CUSTOMER_WRITER` sem motivo (caso 3, caso 7, caso 10)
    • Tenant sem os steps BIGQUERY_CUSTOMER_WRITER e BIGQUERY_UNIFIED_WRITER (caso 4)
    • Tenant parou de registrar steps, tendo o ultimo STAGING_FLOW_PIPELINE (caso 5)
    • Tenant parou de registrar steps, tendo o ultimo SPLIT_RECORDS (caso 8).
    • Tenant parou de registrar steps, tendo o ultimo `STAGING_PARQUET_WRITER` (caso 9).

Activity

Automation for Jira 25 July 2024, 20:21 Jira Internal Users

Movimentação de status das subtasks também movimentou o status da issue.

Automation for Jira 25 July 2024, 18:46 Jira Internal Users

Movimentação de status das subtasks também movimentou o status da issue.

Automation for Jira 5 July 2024, 19:57 Jira Internal Users

@Robson Thanael Poffo ,
@Renan Fernando Schroeder , @André Pereira de Oliveira ,

Este issue foi planejada para ser entregue até 2024-08-30. Você pode confirmar consultando o campo Due Date desta issue.

Data já planejadas para esta issue: 2024-08-30

Se o campo External Issue Link estiver preenchido com o link de uma issue válida no Jira Produção o cliente também será notificado no Jira Produção.