Voltar aos Projetos
Ver Repositório no GitHub

Pipeline de Dados Medallion Architecture & Orquestração

Arquitetura Lakehouse corporativa de ponta a ponta com ingestão contínua em Bronze (Raw Append-Only), higienização e conformidade LGPD em Silver (Contratos de Dados & DLQ) e marts dimensionais otimizados em Gold com consultas analíticas em DuckDB.

O Desafio de Negócio

Lagos de Dados Caóticos, Falta de Governança e Falhas Silenciosas em Pipelines

Muitas empresas sofrem com o efeito 'Data Swamp': dados brutos ingeridos sem validação poluem dashboards executivos, esquemas mudam sem aviso prévio (schema drift), dados corrompidos quebram pipelines noturnos e a diretoria perde a confiança nos números do BI.

A Solução Técnica

Lakehouse Medalhão com Orquestração Declarativa e Isolamento em Quarentena

Implementação da Medallion Architecture (Bronze → Silver → Gold) orquestrada com Prefect 3.0, transformações dbt com DuckDB de alta performance e suíte de contratos Great Expectations com Dead Letter Queue (DLQ), garantindo 99.8% de qualidade e zero quebras na camada analítica.

Impacto & Resultados

99.8% de Qualidade de Dados, 1.48M Linhas Processadas e SLA de 2m 36s

42 contratos de qualidade Great Expectations avaliados continuamente, compressão de dados de 3.75x com Parquet colunar, isolamento automático de anomalias na Dead Letter Queue e velocidade de consulta sub-15ms em DuckDB para o Power BI.

Protótipo Interativo Navegável

Repositório GitHub
Modern Data Stack & Lakehouse Architecture
1.48M Linhas Processadas

Pipeline de Dados Medallion Architecture & Orquestração

Bronze → Silver → Gold • Prefect 3.0 • dbt Core • DuckDB

Lakehouse corporativo em 3 camadas com arquitetura medalhão. Ingestão de eventos e CDC em Bronze (Raw Append-Only), limpeza e validação estrita com contratos de dados em Silver (Conformed & DLQ), e modelagem dimensional em Gold (Kimball Star Schema) para consultas sub-15ms no DuckDB.

Fluxo Visual de Dados (End-to-End Lineage DAG)

Selecione qualquer estágio da arquitetura para inspecionar schema, volume, taxa de compressão e dados de amostra.

5 Estágios Conectados

Ficha Técnica: Camada Bronze (Raw Data Lake)

Imutável & Append-Only

Armazenamento de fidelidade histórica absoluta. Nenhum dado é excluído ou alterado. Enriquecido apenas com metadados de auditoria.

Volume de Dados1.482.390 linhas gravadas
Formato & CompressãoSnappy (4.2 GB JSON -> 1.12 GB Parquet, 3.75x)
Latência / SLABatch de 15 min (SLA < 2 min)
Data Quality Score97.4%
Tecnologias Envolvidas:
DuckDB IngestPrefect 3.0 TasksParquet (Snappy)MinIO / S3
Transformações & Regras Aplicadas:
  • Persistência em formato colunar Apache Parquet com compressão Snappy
  • Adição de metadados técnicos de rastreabilidade (_ingested_at, _source, _batch_id)
  • Particionamento físico em disco por data cronológica (dt_ingestao)

Contrato de Schema (5 Colunas Definidas)

DuckDB Compatible
ColunaTipoPropósito de Engenharia
_raw_payloadVARCHARConteúdo bruto original do evento
_ingested_atTIMESTAMP_TZData/hora exata da gravação no lakehouse
_source_systemVARCHARIdentificador da fonte de origem
_file_hashVARCHAR(64)Checksum SHA-256 para idempotência de arquivo
_batch_idUUIDIdentificador da execução do pipeline Prefect

Amostra Real de Dados em Trânsito (Sample Preview)

Parquet Buffer Live
[
  {
    "_file_hash": "e3b0c442...",
    "_source": "stripe",
    "_ingested_at": "2026-09-28 14:15:02",
    "raw_preview": "{\"tx\":\"ch_3M4\",\"val\":149.90,\"cli\":\"123.456.789-00\"}"
  },
  {
    "_file_hash": "9f86d081...",
    "_source": "erp_sql",
    "_ingested_at": "2026-09-28 14:15:04",
    "raw_preview": "{\"ped\":98412,\"tot\":899.00,\"status\":\"FATURADO\"}"
  },
  {
    "_file_hash": "5e884898...",
    "_source": "stripe",
    "_ingested_at": "2026-09-28 14:15:07",
    "raw_preview": "{\"tx\":\"ch_3M5\",\"val\":45.00,\"cli\":\"444.555.666-77\"}"
  }
]