Contato

• @Bruno Tortato Furtado

Problema

1. Um ambiente customer recebe um registro do Smart Link. Este novo registro cai em uma staging flexível e possui um novo campo com sua nomenclatura em caixa baixa. Neste momento, o ambiente unificado ainda não possui esse campo.

curl -X 'POST' \
  'https://furtado.carol.ai/api/v3/staging/intake/tabela1?connectorId=0c7bd871534d4a5a9398a5fb9a633032&returnData=false' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer TOKEN' \
  -d '[
    {
        "PK": "A",
        "CAMPO_1": "valorA1",
        "campo_2": "valorA2"
    }
]'

1. Momentos depois, o ambiente dev adiciona esse novo campo a tabela (em caixa alta) e gera uma nova release do Carol App. Essa nova release é instalada no ambiente unificado que passa a incluir este novo campo (também em caixa alta).

1. Apesar de ocorrer uma alteração de schema na tabela do unificado, nenhuma task de cópia de dados foi criada, logo o registro que contém valor para o campo_2 no customer, não possui esse valor no unificado.

1. Uma task de cópia de dado é criada de forma manual com o intuito de popular o campo em questão, porém este campo acaba não sendo populado pois o job que realiza o INSERT com SELECT não considera o campo, muito provavelmente pelo fator case sensitive (campo em caixa baixa no customer e caixa alta no unificado).

Link da task: https://furtado.carol.ai/furtadounificado/carol-ui/tasks/activity/25b716af-c25b-4b89-99e0-f8eb36468f50

Job ID: carol-f2fc1fdcd57e423198b1:US.CopyProcessJobOutput_4acbcd97-eabe-4e6f-aa5e-fdc67efa6e47

INSERT INTO
  `carol-f2fc1fdcd57e423198b1.f2fc1fdcd57e423198b17067b88f32ec.ingestion_stg_conectora_tabela1` (
    `CAMPO_1`,`PK`,
    `mdmAuditId`,`mdmBatchId`,`mdmBatchIdSequence`,`mdmConnectorId`,`mdmCounterForEntity`,
    `mdmCounterForEntity__DATETIME__`,`mdmCreated`,`mdmDeleted`,`mdmEntityType`,`mdmId`,`mdmLastUpdated`,
    `mdmTenantId`,`_ingestionDatetime`)
SELECT
  source_table.`CAMPO_1`,source_table.`PK`,
  source_table.`mdmAuditId`,source_table.`mdmBatchId`,source_table.`mdmBatchIdSequence`,
  source_table.`mdmConnectorId`,source_table.`mdmCounterForEntity`,source_table.`mdmCounterForEntity__DATETIME__`,
  source_table.`mdmCreated`,source_table.`mdmDeleted`,source_table.`mdmEntityType`,source_table.`mdmId`,
  source_table.`mdmLastUpdated`,source_table.`mdmTenantId`,
  CURRENT_DATETIME()
FROM
  `carol-835a252e6d68446a9fc1.835a252e6d68446a9fc19bcec55aed33.ingestion_stg_conectora_tabela1` source_table

Critério de aceite (sugestão)

1. A task de cópia de dados do customer para o unificado deve incluir o campo no SELECT que compões o insert desconsiderando o fato do nome do campo estar em caixa alta ou baixa, ou seja, não deve ser case sensitive.