Estágio 7 — Blocos Transversais

Este estágio não representa uma camada única de dados. Ele representa os mecanismos que sustentam todas as camadas da arquitetura.

Ele atravessa:

Ingestão → Landing
Landing → Bronze
Bronze → Silver Técnica
Silver Técnica → Silver Analítica
Silver Analítica → Gold
Gold → Consumo

A ideia central é simples:

Uma arquitetura moderna não é confiável apenas porque possui camadas.Ela é confiável porque possui controle, qualidade, segurança, observabilidade, reprocessamento e operação bem definidos.

1. Objetivo dos blocos transversais

Os blocos transversais garantem que a arquitetura seja:

auditável
rastreável
segura
reprocessável
observável
governada
testável
automatizada
operável

Eles respondem perguntas como:

O que rodou?
Quando rodou?
Quem disparou?
Qual lote foi afetado?
Qual regra falhou?
Qual tabela foi impactada?
Qual consumidor foi afetado?
É possível reprocessar?
O dado pode ser publicado?
Existe alerta?
Existe owner?
Existe documentação?
Existe lineage?

Sem esses blocos, a arquitetura vira apenas um conjunto de pipelines.

Com eles, a arquitetura vira uma plataforma operacional de dados.

2. Bloco Transversal 1 — Reprocessamento

Objetivo

Permitir reexecuções seguras, controladas e rastreáveis, sem duplicar dados nem quebrar dependências.

O que

Reprocessamento por:

batch_id
arquivo
janela
entidade
domínio
regra alterada
quarentena corrigida
dependência
modelo
publicação

Quando

Quando houver:

falha técnica
schema corrigido
arquivo reenviado
regra de negócio alterada
quarentena liberada
KPI recalculado
erro identificado no consumo
rebuild de camada
mudança de dependência

Onde

Pode atuar em todas as etapas:

Landing
Bronze
Silver Técnica
Silver Analítica
Gold
Consumo

Como

Com:

control tables
manifestos
parent_batch_id
reprocess_flag
janelas de reprocessamento
controle de dependências
idempotência
versionamento de regras
logs e auditoria

Padrão recomendado

1. Identificar causa raiz
2. Definir escopo do reprocessamento
3. Registrar solicitação
4. Validar dependências
5. Executar reprocessamento
6. Reconciliar entrada e saída
7. Atualizar status operacional
8. Republicar camadas dependentes, se necessário
9. Registrar evidências

Status úteis:

REPROCESS_REQUESTED
REPROCESS_APPROVED
REPROCESS_RUNNING
REPROCESSED
REPROCESS_FAILED
REPROCESS_BLOCKED

3. Bloco Transversal 2 — Qualidade de Dados

Objetivo

Garantir que dados fora do padrão sejam identificados, bloqueados, isolados ou sinalizados antes de causarem impacto.

O que

Qualidade aplicada em múltiplos níveis:

qualidade de ingestão
qualidade técnica
qualidade analítica
qualidade de consumo

Quando

Em todos os pontos de passagem:

antes da Landing
antes da Bronze
antes da Silver Técnica
antes da Silver Analítica
antes da Gold
antes do Consumo

Onde

Nas camadas:

Landing
Bronze
Silver Técnica
Silver Analítica
Gold
Consumo
Quarentenas

Como

Com:

contratos de dados
testes automáticos
regras SQL/código
expectations
constraints
scorecards
reconciliação
quality_score
quarentenas
alertas

Tipos de regras

Schema
Formato
Tipagem
Obrigatoriedade
Domínio válido
Relacionamento
Duplicidade
Volume
Reconciliação
Regra de negócio
Regra de publicação

Severidades

INFO      → registra
WARNING   → alerta, mas pode avançar
BLOCKER   → bloqueia avanço
CRITICAL  → bloqueia e alerta imediatamente

Resultado esperado

dados aprovados seguem o fluxo
dados inválidos vão para quarentena
falhas críticas bloqueiam publicação
alertas são emitidos
quality_score é registrado

4. Bloco Transversal 3 — Observabilidade

Objetivo

Permitir enxergar a saúde da arquitetura ponta a ponta.

O que

Monitorar:

pipelines
cargas
volumes
custos
SLA/SLO
falhas
quarentenas
tempo de execução
uso dos dados
publicações
dependências

Quando

Durante e após cada execução.

Onde

Em todos os componentes:

orquestração
ingestão
transformação
quarentena
reprocessamento
publicação
consumo

Como

Com:

logs estruturados
métricas operacionais
alertas
dashboards técnicos
tabelas de controle
event logs
lineage operacional
status por lote

Métricas essenciais

tempo de execução
record_count input/output
quantidade de rejeitados
percentual de erro
quality_score
custo por execução
status por camada
SLA violado
volume inesperado
falhas por origem
modelos impactados
consumidores afetados

Alertas importantes

pipeline falhou
SLA violado
volume zerado
volume muito acima do esperado
quarentena acima do limite
quality_score abaixo do mínimo
modelo Gold não publicado
dashboard crítico desatualizado
API com erro ou latência alta
custo anormal

5. Bloco Transversal 4 — Governança e Segurança

Objetivo

Garantir que os dados sejam encontrados, entendidos, protegidos e acessados corretamente.

O que

Governar:

catálogo
lineage
classificação
permissões
políticas de acesso
dados sensíveis
auditoria
LGPD
owners
domínios
contratos

Quando

Desde a origem até o consumo.

Onde

Principalmente em:

catálogo de dados
camadas Silver/Gold
camada semântica
produtos de dados
dashboards
APIs
exportações

Como

Com:

controle de acesso por grupo
row-level security
column-level security
mascaramento
classificação de dados
auditoria de acesso
políticas por domínio
termos de uso
owners por produto
documentação obrigatória

Regras importantes

dado sensível não pode ser exposto sem política
modelo sem owner não deve ser publicado
métrica oficial precisa ter definição
exportação precisa ter manifesto
produto de dados precisa ter contrato
acesso deve ser auditável

6. Bloco Transversal 5 — CI/CD, DevOps e Operação

Objetivo

Garantir que a arquitetura evolua com segurança, versionamento e controle de mudanças.

O que

Controlar:

código
pipelines
modelos
contratos
regras
testes
ambientes
deploy
rollback
artefatos
infraestrutura

Quando

A cada mudança técnica ou de negócio.

Onde

Em:

repositórios
pipelines de entrega
ambientes dev/hml/prd
orquestradores
catálogo
infraestrutura

Como

Com:

versionamento
pull request
code review
testes automatizados
validação de contrato
deploy controlado
promoção entre ambientes
rollback
artefatos versionados
infraestrutura como código

Esteira recomendada

1. Desenvolvimento em dev
2. Testes locais/técnicos
3. Pull request
4. Validação automática
5. Deploy em homologação
6. Testes integrados
7. Aprovação
8. Deploy em produção
9. Monitoramento pós-deploy
10. Rollback, se necessário

Ambientes mínimos:

dev
hml
prd

7. Bloco Transversal 6 — Controle Operacional e Metadados

Objetivo

Centralizar o estado da operação e permitir rastreabilidade real.

O que

Registrar:

execuções
status
lotes
schemas
hashes
watermarks
manifestos
dependências
erros
reprocessamentos
publicações

Quando

Em toda execução.

Onde

Em tabelas operacionais e catálogos.

Como

Com tabelas como:

control_ingestion_batches
control_bronze_loads
control_silver_technical_loads
control_silver_analytics_loads
control_gold_loads
control_consumption_publications
control_reprocess_requests
control_data_quality_results
control_pipeline_dependencies

Campos comuns

batch_id
execution_id
parent_batch_id
source_system
domain
entity
layer
target_table
status
record_count_input
record_count_output
record_count_quarantine
schema_hash
file_hash
watermark_start
watermark_end
quality_score
started_at
finished_at
duration_seconds
is_reprocess
reprocess_reason
error_message

8. Bloco Transversal 7 — Quarentenas

Objetivo

Isolar dados problemáticos sem perder rastreabilidade.

Tipos

quarentena técnica
quarentena de qualidade
quarentena de publicação

Quando usar

Técnica

schema inválido
tipo inválido
arquivo corrompido
falha de leitura
manifesto ausente

Qualidade

regra de negócio violada
domínio inválido
relacionamento órfão
campo obrigatório ausente
valor inconsistente

Publicação

modelo sem owner
quality_score baixo
permissão ausente
documentação incompleta
métrica sem definição oficial

O que guardar

batch_id
camada
origem
entidade
registro original
registro tratado parcial
regra violada
campo com erro
valor recebido
valor esperado
severidade
status
reprocess_flag
data do erro

9. Bloco Transversal 8 — Contratos de Dados

Objetivo

Definir claramente o que cada etapa espera receber e entregar.

Tipos de contrato

contrato de ingestão
contrato técnico
contrato analítico
contrato Gold
contrato de consumo

Cada contrato deve definir

camada origem
camada destino
entidade
domínio
schema esperado
colunas obrigatórias
tipos
chaves
regras
estratégia de escrita
severidade de falhas
owner
versão
SLA

Benefício

Contratos evitam que a regra fique escondida no código.

A regra passa a ser explícita, auditável e versionável.

10. Visão transversal por camada

Bloco	Landing	Bronze	Silver Técnica	Silver Analítica	Gold	Consumo
Reprocessamento	Arquivo/lote	Batch/janela	Regra técnica	Regra negócio	Modelo/KPI	Republicação
Qualidade	Formato	Estrutural	Técnica	Analítica	Consumo	Publicação
Observabilidade	Carga	Escrita	Transformação	Domínio	Modelo	Uso
Governança	Origem	Metadados	Linhagem	Domínio	Métrica	Acesso
CI/CD	Ingestão	Load	Transformação	Regras	Modelagem	Publicação
Controle	batch	bronze_load	silver_tech	silver_analytics	gold_load	publication

11. Esteira transversal ideal

1. Contrato definido
2. Pipeline versionado
3. Execução registrada
4. Validação aplicada
5. Qualidade calculada
6. Quarentena, se necessário
7. Observabilidade atualizada
8. Status operacional definido
9. Dependências avaliadas
10. Reprocessamento disponível
11. Publicação governada
12. Consumo monitorado

12. Definição final do Estágio 7

Os Blocos Transversais são o que transforma uma arquitetura em uma plataforma confiável.

Eles garantem que cada camada tenha:

controle
contrato
qualidade
segurança
observabilidade
reprocessamento
governança
operação

Sem eles, a arquitetura pode até processar dados.

Com eles, a arquitetura consegue:

explicar o que aconteceu
corrigir falhas
reprocessar com segurança
bloquear dados ruins
publicar com governança
monitorar consumo
controlar custo
evoluir sem perder confiabilidade

A entrega deste estágio é:

uma arquitetura operacionalmente madura, governada, observável, segura, testável e reprocessável de ponta a ponta.