Estágio 6 — Gold → Consumo

Objetivo da camada

A etapa Gold → Consumo transforma modelos Gold publicados em entregas acessíveis, governadas, rastreáveis e utilizáveis pelos consumidores finais.

A Gold entrega os modelos oficiais.A camada de Consumo entrega esses modelos nos canais corretos:

• BI / dashboards;

• SQL analytics;

• APIs;

• exportações controladas;

• produtos de dados;

• ciência de dados e IA;

• self-service analytics;

• aplicações internas;

• relatórios executivos.

A regra principal desta camada é:

Consumo não deve corrigir dados. Consumo deve expor dados confiáveis, governados e prontos para uso.

1. Definição do estágio

O que

Disponibilizar os modelos Gold para usuários, áreas, aplicações e produtos de dados.

Quando

Depois que o modelo Gold foi processado e publicado com sucesso:

status = GOLD_PUBLISHED

ou, em arquiteturas mais simples:

status = GOLD_PROCESSED

Onde

Na camada de consumo:

consumo.bi
consumo.sql
consumo.api
consumo.exports
consumo.data_products
consumo.ml

Como

Com governança de acesso, contratos de consumo, camada semântica, métricas oficiais, permissões, documentação, lineage, observabilidade e controle de publicação.

2. Papel da camada de Consumo

A camada de Consumo é onde o dado vira uso real.

Ela responde:

• quem pode acessar?

• por qual canal?

• com qual granularidade?

• qual métrica oficial deve ser usada?

• qual dashboard depende desse modelo?

• qual API consome esse dado?

• qual SLA de atualização?

• qual regra de segurança?

• qual versão está publicada?

• qual impacto se o modelo falhar?

A Gold é o modelo governado.O Consumo é a entrega governada.

3. O que entra na camada de Consumo

Entram apenas modelos Gold aprovados.

Critérios mínimos:

status = GOLD_PUBLISHED
modelo documentado
owner definido
permissões aplicadas
métricas oficiais validadas
contrato de consumo atendido
qualidade de consumo aprovada
lineage preservado
SLA definido

Entradas válidas:

• fatos e dimensões publicadas;

• data marts aprovados;

• camada semântica validada;

• métricas oficiais;

• produtos de dados certificados;

• views de consumo;

• endpoints analíticos;

• bases autorizadas para exportação;

• datasets para BI ou IA.

Entradas bloqueadas:

• modelo Gold não publicado;

• KPI sem regra oficial;

• tabela sem owner;

• modelo sem documentação mínima;

• permissão indefinida;

• dado sensível sem política;

• lineage ausente;

• qualidade abaixo do limite;

• dependência Gold com falha.

4. Tipos de consumo

A. BI / Dashboards

Camada usada para análises visuais, painéis executivos e acompanhamento operacional.

Exemplos:

dashboard_comercial
dashboard_financeiro
dashboard_operacional
dashboard_executivo
dashboard_qualidade_dados

Regras importantes:

• dashboard não deve recalcular KPI oficial de forma isolada;

• métrica deve vir da Gold ou camada semântica;

• filtros devem ser padronizados;

• data de atualização deve estar visível;

• owner do dashboard deve estar definido;

• alertas de quebra ou atraso devem existir.

B. SQL Analytics / Self-service

Consumo direto por analistas, engenheiros, cientistas de dados e áreas técnicas.

Exemplos:

views_gold_publicadas
consultas ad hoc
exploração analítica
análises por domínio

Boas práticas:

• expor views de consumo, não tabelas internas sensíveis;

• documentar colunas;

• controlar permissões;

• limitar acesso a dados sensíveis;

• monitorar custo e volume de consulta;

• separar ambiente exploratório de produção.

C. APIs e Aplicações

Dados Gold podem alimentar aplicações internas, portais, motores de recomendação, jornadas digitais e integrações.

Exemplos:

/api/clientes/indicadores
/api/vendas/resumo
/api/contratos/status
/api/produtos/recomendacoes

Boas práticas:

• contrato de API;

• versionamento;

• autenticação;

• autorização;

• limite de requisições;

• cache quando aplicável;

• monitoramento de latência;

• rastreabilidade do modelo origem.

D. Exportações Controladas

Exportações são úteis, mas precisam ser governadas.

Exemplos:

exports para parceiros
arquivos regulatórios
datasets para fornecedores
entregas batch para áreas internas

Regras importantes:

• exportação deve ter owner;

• dado sensível deve ser mascarado ou removido;

• formato e periodicidade devem estar definidos;

• arquivos devem ter retenção controlada;

• cada exportação deve gerar manifesto;

• cada entrega deve ser auditável.

E. Ciência de Dados & IA

A camada de consumo pode entregar bases para ciência de dados, modelos preditivos e IA.

Exemplos:

feature datasets
training datasets
scoring datasets
bases de churn
bases de risco
bases de recomendação

Boas práticas:

• versionar dataset;

• registrar data de referência;

• separar treino, validação e produção;

• preservar lineage;

• evitar vazamento temporal;

• registrar features;

• monitorar drift;

• controlar reprodutibilidade.

F. Produtos de Dados

Produto de dados é uma entrega mais madura que uma tabela.

Um produto de dados deve ter:

owner
domínio
contrato
documentação
SLA
qualidade mínima
métricas
permissões
lineage
canal de suporte
versão

Exemplos:

produto_dados_clientes_ativos
produto_dados_vendas
produto_dados_risco_carteira
produto_dados_producao_consorcios

5. Contrato de consumo

A camada de consumo precisa de contrato próprio.

Exemplo conceitual:

consumer_product: dashboard_comercial_vendas
source_layer: gold
source_models:
  - gold.comercial.ft_vendas
  - gold.comercial.dm_cliente
  - gold.comercial.dm_produto
  - gold.semantica.metricas_vendas

consumption_type: BI
owner: area_comercial
refresh_frequency: daily
sla: "até 08:00"
access_profile:
  - comercial_analistas
  - comercial_gestores

metrics:
  - receita_liquida
  - ticket_medio
  - quantidade_vendas

security:
  row_level_security: true
  column_masking: true

publication:
  status_required: GOLD_PUBLISHED
  documentation_required: true
  quality_score_min: 95

Esse contrato define:

• quem consome;

• o que consome;

• com qual frequência;

• com qual SLA;

• quais métricas;

• quais permissões;

• quais regras de segurança;

• qual qualidade mínima;

• qual origem Gold.

6. Camada semântica no consumo

A camada semântica é essencial para evitar que cada área calcule métricas de forma diferente.

Ela deve centralizar:

métricas oficiais
fórmulas
filtros padrão
hierarquias
dimensões permitidas
descrições de negócio
sinônimos
regras de agregação

Exemplo:

receita_liquida = receita_bruta - descontos - cancelamentos
ticket_medio = receita_liquida / quantidade_vendas
clientes_ativos = clientes com status = 'ATIVO'

Regra importante:

Dashboard não deve ser a fonte oficial da regra.A regra deve estar documentada e governada antes do dashboard.

7. Segurança e governança no consumo

Esta camada precisa aplicar segurança de forma rigorosa.

Controles recomendados:

controle de acesso por grupo
row-level security
column-level security
mascaramento de dados sensíveis
auditoria de acesso
políticas por domínio
classificação de dados
termo de uso para dados sensíveis

Exemplos:

gestor regional vê apenas sua região
analista vê dados anonimizados
área financeira vê métricas financeiras completas
parceiro externo recebe apenas recorte autorizado

8. Publicação governada

Antes de liberar para consumo, o modelo precisa passar por um gate de publicação.

Critérios mínimos:

modelo Gold publicado
documentação disponível
owner definido
permissões aplicadas
quality_score aprovado
SLA definido
métrica oficial validada
lineage disponível
consumidores mapeados

Status possíveis:

PENDING_PUBLICATION
PUBLICATION_RUNNING
PUBLISHED
PUBLICATION_FAILED
BLOCKED_FOR_ACCESS
BLOCKED_FOR_QUALITY
BLOCKED_FOR_DOCUMENTATION
DEPRECATED

9. Observabilidade no consumo

A observabilidade deixa de olhar só o pipeline e passa a olhar também o uso.

Métricas importantes:

tempo de atualização
atraso de publicação
quantidade de acessos
consultas por usuário
consultas por dashboard
custo por consulta
tempo médio de resposta
falhas de API
falhas de dashboard
volume exportado
modelos mais consumidos
modelos sem uso

Alertas úteis:

dashboard crítico sem atualização
SLA de publicação violado
queda brusca de uso
aumento anormal de custo
API com latência alta
exportação não entregue
acesso negado recorrente
consulta muito cara
modelo Gold consumido antes de publicação

10. Reprocessamento Gold → Consumo

Nesta etapa, reprocessamento significa republicar ou atualizar entregas de consumo.

Tipos principais:

Republicação de dashboard

Atualizar dashboards após correção de modelo Gold

Republicação de camada semântica

Atualizar métrica oficial ou fórmula versionada

Reenvio de exportação

Reenviar arquivo ou dataset para consumidor autorizado

Rebuild de data product

Reconstruir produto de dados com base em nova versão Gold

Refresh de cache

Limpar e reconstruir cache de consumo

Reprocessamento por dependência

Se ft_vendas mudou, republicar mart, dashboard e API dependentes

11. Controle de dependências

A camada de consumo tem dependências fortes.

Exemplo:

gold.dm_cliente
gold.dm_produto
gold.ft_vendas
  ↓
gold.mart_comercial
  ↓
camada_semantica.metricas_vendas
  ↓
dashboard_comercial
  ↓
relatorio_executivo

Se uma camada acima falhar, o consumo deve ser bloqueado ou marcado como desatualizado.

Regra prática:

modelo Gold falhou → não publicar consumo novo
modelo Gold atrasou → alertar consumidores
modelo Gold mudou regra → versionar métrica e republicar consumo

12. Tabela de controle de consumo

Recomendo uma tabela operacional:

control_consumption_publications

Campos sugeridos:

publication_id
gold_load_id
domain
consumer_product
consumption_type
source_models
semantic_version
model_version
publication_status
published_at
refresh_frequency
sla_expected_at
sla_status
owner
consumer_group
access_policy
quality_score_gold
documentation_status
lineage_status
record_count_published
is_reprocess
reprocess_reason
parent_publication_id
error_message

Status possíveis:

PENDING_PUBLICATION
PUBLISHING
PUBLISHED
PUBLICATION_FAILED
BLOCKED_FOR_QUALITY
BLOCKED_FOR_ACCESS
BLOCKED_FOR_DOCUMENTATION
REPUBLICATION_REQUESTED
REPUBLISHED
DEPRECATED

13. O que não deve acontecer no consumo

A camada de consumo não deve:

• corrigir dado manualmente no dashboard;

• criar KPI oficial sem contrato;

• duplicar regra de negócio em cada relatório;

• liberar dado sensível sem governança;

• publicar modelo sem owner;

• expor tabela interna sem curadoria;

• exportar dado sem manifesto;

• usar Gold não publicada;

• deixar dependência quebrada sem alerta;

• ocultar falha de atualização.

Regra central:

Se o dado está errado no consumo, a correção deve voltar para Gold, Silver Analítica, Silver Técnica ou até Bronze, dependendo da causa raiz.

14. Critérios de sucesso da camada

A camada de consumo está bem desenhada quando:

usuários acessam dados confiáveis
métricas são consistentes entre dashboards
acessos são governados
exportações são rastreáveis
APIs têm contrato e versionamento
dashboards têm owner e SLA
produtos de dados têm documentação
custos de consulta são monitorados
falhas geram alerta
dependências são conhecidas

15. Saída esperada do estágio

Ao final do estágio, devemos ter:

dashboards publicados
views de consumo disponíveis
APIs analíticas expostas
exportações controladas
produtos de dados certificados
camada semântica acessível
permissões aplicadas
observabilidade de uso ativa
consumo rastreável e governado

Status final esperado:

PUBLISHED

ou:

REPUBLISHED

Em caso de erro:

PUBLICATION_FAILED
BLOCKED_FOR_QUALITY
BLOCKED_FOR_ACCESS
BLOCKED_FOR_DOCUMENTATION

16. Resumo visual do estágio

GOLD_PUBLISHED
  ↓
CONTRATO DE CONSUMO
  ↓
SEGURANÇA E PERMISSÕES
  ↓
CAMADA SEMÂNTICA / VIEWS / API / EXPORTS
  ↓
PUBLICAÇÃO GOVERNADA
  ↓
OBSERVABILIDADE DE USO
  ↓
CONSUMO CORPORATIVO

Em caso de falha:

VALIDAÇÃO DE PUBLICAÇÃO
  ↓
BLOQUEIO DE CONSUMO
  ↓
CORREÇÃO NA CAMADA DE ORIGEM
  ↓
REPUBLICAÇÃO CONTROLADA
  ↓
CONSUMO

Definição final do estágio

A camada Gold → Consumo é onde a arquitetura entrega valor diretamente para a organização.

Ela deve transformar modelos Gold em:

dashboards
consultas SQL
APIs
exportações
produtos de dados
bases para IA
camada semântica

Mas sempre com:

governança
segurança
métricas oficiais
observabilidade
SLA
documentação
rastreabilidade
controle de publicação

A entrega final desta etapa é:

dados publicados, governados, seguros, observáveis e prontos para gerar decisão, automação e valor de negócio.