All Posts

Da cópia técnica à preservação do significado Um guia prático para levantamento, governança, mapeamento, grão, chaves, arquitetura em camadas, validação, cutover e operação. Figura 1 — Visão geral do ciclo de migração adotado neste artigo. Artigo técnico para profissionais de Engenharia de Dados 2026 Resumo Migrações de dados falham com frequência não porque a equipe desconhece como copiar arquivos, executar cargas incrementais ou criar tabelas no ambiente de destino, mas por

Um modelo analítico precisa preservar o significado dos acontecimentos quando os dados são integrados, corrigidos, agregados e consultados ao longo do tempo. Para isso, cada linha deve representar algo definido, cada medida deve ter uma interpretação verificável e cada relacionamento deve levar ao contexto correto. Uma consulta pode executar sem erros e entregar um resultado incorreto. Basta relacionar uma venda a duas versões do mesmo cliente, somar saldos de dias diferentes

Em projetos de dados, existe um erro silencioso que compromete a qualidade da arquitetura desde a ingestão até a camada analítica: tratar todos os tipos de chave como se servissem ao mesmo propósito. À primeira vista, parece um detalhe técnico. Afinal, se uma coluna identifica um registro, por que não usá-la em todas as camadas? Por que não usar o id_cliente da origem como chave da dimensão? Por que não usar um hash como identificador principal? Por que criar uma Surrogate Ke

Introdução Durante muito tempo, explicar ETL parecia relativamente simples: Extract → Transform → Load Extraímos dados de uma fonte, realizamos transformações e carregamos o resultado em um destino. Essa definição continua correta conceitualmente, mas já não representa, sozinha, a complexidade dos ecossistemas modernos de dados. Hoje lidamos simultaneamente com bancos relacionais, APIs, arquivos CSV, Excel, JSON, XML, Parquet, eventos, streaming, sistemas legados, aplicações

Este estágio não representa uma camada única de dados. Ele representa os mecanismos que sustentam todas as camadas da arquitetura. Ele atravessa: Ingestão → Landing Landing → Bronze Bronze → Silver Técnica Silver Técnica → Silver Analítica Silver Analítica → Gold Gold → Consumo A ideia central é simples: Uma arquitetura moderna não é confiável apenas porque possui camadas.Ela é confiável porque possui controle, qualidade, segurança, observabilidade, reprocessamento e operação

Objetivo da camada A etapa Gold → Consumo transforma modelos Gold publicados em entregas acessíveis, governadas, rastreáveis e utilizáveis pelos consumidores finais. A Gold entrega os modelos oficiais.A camada de Consumo entrega esses modelos nos canais corretos: BI / dashboards; SQL analytics; APIs; exportações controladas; produtos de dados; ciência de dados e IA; self-service analytics; aplicações internas; relatórios executivos. A regra principal desta camada é: Consumo n