Estágio 5 — Silver Analítica → Gold

Objetivo da camada

A etapa Silver Analítica → Gold transforma dados analíticos conformados em uma camada de entrega de valor para consumo corporativo.

A Silver Analítica organiza dados por domínio, aplica regras de negócio e prepara bases reutilizáveis.A Gold entrega modelos prontos para consumo, indicadores oficiais, data marts, estrela dimensional, camada semântica e produtos de dados.

A regra principal desta camada é:

A Gold é a camada de consumo governado, onde o dado deve estar modelado, documentado, validado e pronto para decisão.

1. Definição do estágio

O que

Transformar dados analíticos reutilizáveis em modelos de consumo final, como:

fatos
dimensões
data marts
KPIs oficiais
camada semântica
produtos de dados
visões de negócio
bases otimizadas para BI

Quando

Depois que a Silver Analítica foi processada com sucesso:

status = SILVER_ANALYTICS_PROCESSED

Onde

Na camada:

gold.<dominio>.<modelo>

Exemplos:

gold.comercial.ft_vendas
gold.comercial.dm_cliente
gold.financeiro.ft_movimento_financeiro
gold.contratos.dm_contrato
gold.executivo.mart_indicadores_comerciais
gold.semantica.metricas_vendas

Como

Com modelagem dimensional, data marts, camada semântica, métricas padronizadas, regras oficiais, controle de granularidade, validações de negócio finais, rastreabilidade e governança de consumo.

2. Papel da Gold na arquitetura

A Gold deve ser a camada onde o dado se torna produto de consumo.

Ela responde:

• qual é o indicador oficial?

• qual é a granularidade correta?

• quais são as dimensões de análise?

• quais fatos representam eventos, saldos ou transações?

• qual regra de cálculo foi usada?

• qual área pode consumir?

• qual dashboard ou API usa esse dado?

• qual versão da métrica está publicada?

• o dado está pronto para decisão?

A Gold não deve ser uma camada de correção técnica.Ela deve ser uma camada de entrega confiável.

3. Diferença entre Silver Analítica e Gold

Camada	Foco	Exemplo
Silver Analítica	Dados conformados por domínio	cliente_conformado, venda_conformada
Gold Star Schema	Modelagem dimensional	ft_vendas, dm_cliente, dm_produto
Gold Data Mart	Visão orientada à área	mart_comercial, mart_financeiro
Gold Semântica	Métricas reutilizáveis	receita_liquida, ticket_medio
Consumo	Ferramentas e aplicações	BI, SQL, APIs, IA

Exemplo:

Silver Analítica

venda_conformada
cliente_conformado
produto_conformado
canal_conformado

Gold

ft_vendas
dm_cliente
dm_produto
dm_canal
mart_vendas_mensais
semantica_metricas_comerciais

A Silver Analítica prepara.A Gold modela e entrega.

4. Entrada da Gold

A entrada principal vem da Silver Analítica.

Critérios mínimos:

status = SILVER_ANALYTICS_PROCESSED
domínio conformado
regras de negócio aplicadas
quality_score de negócio aprovado
relacionamentos críticos validados
record_count reconciliado
metadados preservados
contrato analítico atendido

Entradas válidas:

• entidades analíticas conformadas;

• regras de negócio aplicadas;

• atributos derivados;

• chaves de negócio validadas;

• dados prontos para análise;

• relacionamento entre entidades validado;

• qualidade analítica aprovada;

• contrato de consumo ou modelagem definido.

Entradas bloqueadas:

• entidade sem regra de negócio aprovada;

• quality_score abaixo do limite;

• relacionamento crítico quebrado;

• ausência de chave de negócio;

• métrica sem definição oficial;

• granularidade indefinida;

• dados sem rastreabilidade;

• tabela sem contrato de consumo.

5. Principais saídas da Gold

A Gold pode entregar três grandes grupos de modelos.

A. Star Schema

Modelo dimensional clássico, com fatos e dimensões.

Exemplos:

ft_vendas
ft_faturamento
ft_movimentacao
ft_contratos
dm_cliente
dm_produto
dm_calendario
dm_canal
dm_agencia

B. Data Marts

Modelos orientados a áreas, domínios ou casos de uso.

Exemplos:

mart_comercial
mart_financeiro
mart_risco
mart_operacional
mart_executivo
mart_atendimento

C. Camada Semântica

Camada de métricas oficiais e reutilizáveis.

Exemplos:

receita_bruta
receita_liquida
ticket_medio
clientes_ativos
vendas_canceladas
saldo_total
inadimplencia
churn

6. Modelagem dimensional na Gold

A Gold deve ter clareza sobre:

grão da tabela fato
chaves das dimensões
métricas aditivas
métricas semi-aditivas
métricas não aditivas
relacionamentos
histórico dimensional
regras de atualização

Pergunta mais importante antes de criar uma fato

Qual é o grão da tabela?

Exemplo:

Uma linha por venda
Uma linha por item da venda
Uma linha por contrato por dia
Uma linha por cliente por mês
Uma linha por transação financeira

Sem grão definido, a fato tende a gerar duplicidade, ambiguidade e KPI errado.

7. Tabelas fato

A fato representa evento, transação, snapshot ou medição.

Tipos comuns

Fato transacional

ft_vendas
ft_pagamentos
ft_transacoes
ft_movimentos

Grão:

uma linha por evento/transação

Fato snapshot periódico

ft_saldo_diario
ft_carteira_mensal
ft_posicao_contrato

Grão:

uma linha por entidade por data de referência

Fato acumulada

ft_funil_vendas
ft_ciclo_contrato
ft_jornada_cliente

Grão:

uma linha por processo acompanhado ao longo do tempo

8. Dimensões

Dimensões representam contexto de análise.

Exemplos:

dm_cliente
dm_produto
dm_agencia
dm_canal
dm_calendario
dm_status
dm_segmento
dm_contrato

Dimensões devem conter atributos descritivos, como:

nome_cliente
tipo_pessoa
segmento
cidade
estado
status
data_inicio
data_fim
is_current

9. SCD na Gold

A Gold pode usar SCD quando houver necessidade de histórico dimensional.

SCD Tipo 1

Sobrescreve o valor atual.

Boa para:

correções cadastrais simples
descrições sem necessidade histórica
atributos não auditáveis

Exemplo:

nome_produto corrigido
descrição de canal ajustada

SCD Tipo 2

Preserva histórico de alterações.

Boa para:

segmento do cliente
status de contrato
carteira do cooperado
agência vinculada
classificação de risco

Campos comuns:

sk_cliente
bk_cliente
data_inicio_vigencia
data_fim_vigencia
is_current
hash_diff

Regra importante:

SCD2 deve ser usado quando a pergunta de negócio depende de “como era na época”.

10. Chaves na Gold

A Gold deve separar bem:

surrogate key
business key
foreign key
hash_diff
row_hash

Padrão recomendado:

sk_*     → surrogate key da dimensão
bk_*     → business key estável
hash_diff → comparação de mudança

Exemplo:

sk_cliente
bk_cliente
hash_diff

A fato deve carregar as chaves das dimensões:

sk_cliente
sk_produto
sk_calendario
sk_agencia

E suas métricas:

valor_venda
quantidade
valor_desconto
valor_liquido

11. Data Marts

Data marts são modelos orientados ao consumo de uma área ou tema.

Eles podem ser derivados de:

star schema
silver analítica
camada semântica
combinação controlada de modelos Gold

Exemplos:

mart_comercial_vendas_mensais
mart_financeiro_receita
mart_executivo_indicadores
mart_risco_carteira
mart_operacional_producao

Um mart deve ter:

objetivo claro
área responsável
granularidade definida
métricas documentadas
filtros oficiais
regras versionadas
permissão de acesso

12. Camada semântica

A camada semântica evita que cada dashboard calcule métrica de um jeito.

Ela deve centralizar:

definição de métricas
regras de cálculo
filtros oficiais
hierarquias
dimensões reutilizáveis
sinônimos de negócio
descrições para usuários

Exemplo:

receita_liquida = receita_bruta - descontos - cancelamentos
ticket_medio = receita_liquida / quantidade_vendas
clientes_ativos = count distinct clientes com status = 'ATIVO'

Cada métrica precisa ter:

nome
descrição
fórmula
grão
filtros aplicados
dimensões permitidas
fonte
responsável
versão
data de vigência

13. Contrato de consumo Gold

A Gold deve ter um contrato próprio, diferente do contrato técnico e analítico.

Exemplo conceitual:

domain: comercial
model: ft_vendas
layer: gold
model_type: fact
grain: uma linha por venda
source_layer: silver_analitica

business_keys:
  - codigo_venda

foreign_keys:
  - sk_cliente
  - sk_produto
  - sk_calendario

measures:
  - valor_venda
  - valor_desconto
  - valor_liquido

required_dimensions:
  - dm_cliente
  - dm_produto
  - dm_calendario

quality_rules:
  - nome: valor_venda_nao_negativo
    regra: valor_venda >= 0
    severidade: BLOCKER

publish:
  enabled: true
  consumers:
    - BI
    - SQL
    - API

owner: area_comercial
version: 1.0

Esse contrato define:

• grão;

• tipo do modelo;

• chaves;

• métricas;

• dimensões;

• regras;

• público consumidor;

• versão;

• responsável.

14. Qualidade na Gold

A qualidade na Gold é orientada ao consumo.

Validações importantes:

fato sem dimensão órfã
métrica sem nulo indevido
valor negativo indevido
duplicidade no grão da fato
dimensão sem business key
SCD2 com vigência sobreposta
SCD2 sem registro current
KPI divergente da regra oficial
data de referência válida
record_count reconciliado

Exemplos:

uma venda deve apontar para um cliente válido
uma fato não pode duplicar no mesmo grão
uma dimensão SCD2 não pode ter dois registros current para a mesma BK
valor_liquido não pode ser maior que valor_bruto sem regra explícita

15. Quarentena ou bloqueio na Gold

A Gold também pode ter bloqueio, mas deve ser mais criteriosa.

Motivos comuns:

grão duplicado
dimensão órfã
métrica oficial inconsistente
relacionamento dimensional ausente
SCD inválido
KPI fora de regra
contrato de consumo não atendido
modelo sem owner
modelo sem documentação mínima

Status possíveis:

GOLD_QUARANTINED
GOLD_FAILED
GOLD_REPROCESS_REQUESTED
GOLD_REPROCESSED

Nem todo problema precisa ir para quarentena física.Alguns podem bloquear publicação.

Exemplo:

modelo processado, mas não publicado
status = GOLD_BLOCKED_FOR_PUBLICATION

16. Estratégias de escrita na Gold

A estratégia depende do tipo de modelo.

Dimensões SCD1

merge por business key
atualiza atributos atuais

Dimensões SCD2

detecta mudança por hash_diff
expira registro anterior
insere nova versão
mantém is_current

Fatos transacionais

append controlado
merge por chave do evento
deduplicação pelo grão

Snapshots

partição por data_referencia
replace por partição
append snapshot versionado

Marts

rebuild controlado
incremental por janela
materialização otimizada

17. Reprocessamento Silver Analítica → Gold

Tipos principais:

Reprocessamento por modelo

Reprocessar ft_vendas ou dm_cliente

Reprocessamento por domínio

Reprocessar todos os modelos gold do domínio comercial

Reprocessamento por janela

Reprocessar fatos de um período específico

Reprocessamento por dimensão

Reprocessar dm_cliente e recompor fatos dependentes

Reprocessamento por regra de KPI

Reprocessar métricas após alteração de fórmula oficial

Rebuild dimensional

Reconstruir fatos e dimensões a partir da Silver Analítica

Reprocessamento de publicação

Reprocessar modelo e republicar somente após validação

18. Dependências na Gold

A Gold possui dependências fortes.

Exemplo:

dm_cliente
dm_produto
dm_calendario
  ↓
ft_vendas
  ↓
mart_comercial
  ↓
dashboard executivo

A esteira precisa respeitar:

dimensões antes de fatos
fatos antes de marts
marts antes de dashboards
camada semântica antes de consumo self-service

Se uma dimensão falhar, a fato dependente deve ser bloqueada ou marcada como pendente.

19. Tabela de controle Gold

Recomendo uma tabela operacional:

control_gold_loads

Campos sugeridos:

gold_load_id
silver_analytics_load_id
batch_id
parent_batch_id
domain
model_name
model_type
grain
source_tables
target_table
write_strategy
status
record_count_input
record_count_output
record_count_quarantine
quality_score_gold
business_rule_version
semantic_version
model_version
started_at
finished_at
duration_seconds
is_reprocess
reprocess_reason
published_flag
publication_status
error_message

Status possíveis:

PENDING_GOLD
GOLD_RUNNING
GOLD_PROCESSED
GOLD_FAILED
GOLD_QUARANTINED
GOLD_BLOCKED_FOR_PUBLICATION
GOLD_PUBLISHED
GOLD_REPROCESS_REQUESTED
GOLD_REPROCESSED

20. Observabilidade da Gold

Métricas importantes:

tempo de execução por modelo
custo por modelo
record_count input/output
quantidade de fatos geradas
quantidade de dimensões atualizadas
quantidade de SCDs expirados/inseridos
quantidade de registros órfãos
quality_score_gold
status de publicação
dashboards impactados
dependências impactadas

Alertas úteis:

fato sem dimensão
duplicidade no grão
queda brusca de métrica
aumento anormal de registros
SCD2 com sobreposição
falha em modelo crítico
modelo Gold não publicado
KPI oficial divergente

21. Critérios para avançar para Consumo

Só deve avançar quando:

status = GOLD_PUBLISHED

ou, em arquiteturas mais simples:

status = GOLD_PROCESSED

Condições mínimas:

modelo processado com sucesso
contrato de consumo atendido
grão validado
qualidade gold aprovada
métricas oficiais validadas
dependências resolvidas
documentação mínima publicada
owner definido
permissões aplicadas
modelo liberado para consumo

22. Saída esperada da Gold

Ao final do estágio, devemos ter:

fatos e dimensões modeladas
data marts preparados
camada semântica definida
métricas oficiais publicadas
qualidade de consumo validada
permissões aplicadas
documentação disponível
lineage preservado
base pronta para BI, SQL, APIs e produtos de dados

Status final esperado:

GOLD_PUBLISHED

ou:

GOLD_PROCESSED

Em caso de erro:

GOLD_FAILED
GOLD_QUARANTINED
GOLD_BLOCKED_FOR_PUBLICATION

23. Resumo visual do estágio

SILVER ANALÍTICA
  ↓
CONTRATO DE CONSUMO
  ↓
MODELAGEM DIMENSIONAL
  ↓
FATOS E DIMENSÕES
  ↓
DATA MARTS
  ↓
CAMADA SEMÂNTICA
  ↓
VALIDAÇÃO DE CONSUMO
  ↓
GOLD
  ↓
GOLD_PUBLISHED

Em caso de falha:

VALIDAÇÃO GOLD / PUBLICAÇÃO
  ↓
BLOQUEIO OU QUARENTENA
  ↓
CORREÇÃO
  ↓
REPROCESSAMENTO CONTROLADO
  ↓
GOLD

Definição final do estágio

A camada Silver Analítica → Gold é onde a arquitetura deixa de apenas preparar dados e passa a entregar modelos de consumo confiáveis.

Ela consolida:

modelagem dimensional
data marts
métricas oficiais
camada semântica
regras de consumo
validações finais
publicação governada

A Gold deve entregar:

dados modelados, documentados, governados, validados e prontos para consumo corporativo.

Ela é a camada que sustenta BI, indicadores oficiais, análises self-service, APIs analíticas, produtos de dados e decisões executivas.