Ao validar erros de escrita em parquets (link), foi verificado que a url de escrita do parquet no GCS tem esse formato e por vezes gera essa resposta:

PUT https://storage.googleapis.com/upload/storage/v1/b/prod-mdm-1-carol-internal-a9628724ce0b4a16a50fc81edb1962bb/o?ifGenerationMatch=0&name=staging-output/parquet/6f9fff052d774dc29a287e44b3af30d9_se1/2024-08-21T21_07_31-pane-0-0-691195.tmp&uploadType=resumable&upload_id=AHxI1nM874N68zhjon_fjwNDrQy_lbXCkMEwPtc8LlkWMALEeA8EgVTi9IxMnyvb7JbIVQn59PsuwQTzlWpAZZmPr42-dZqIqErlxEMNYUFikumn
{
"code" : 412,
"errors" : [

{ "domain" : "global", "location" : "If-Match", "locationType" : "header", "message" : "At least one of the pre-conditions you specified did not hold.", "reason" : "conditionNotMet" }

],
"message" : "At least one of the pre-conditions you specified did not hold."
}

Stackdriver com casos similares ao acima: https://cloudlogging.app.goo.gl/R1zCSThdo3EiY7YZ7

Na documentação de escrita do GCS, na seção Conditional Parameters (https://cloud.google.com/python/docs/reference/storage/latest/generation_metageneration#conditional-parameters), existem outras opções de parametrização para que a escrita de arquivos seja mais resiliente, como realizando o overwrite do arquivo utilizando ifGenerationMatch=0 e if_metageneration_match=0 em conjunto, para evitar erros como o acima.

Issues dos incidentes: