Projete uma Plataforma de Data Lake

Requisitos

• •Ingerir dados de fontes de streaming (Kafka) e fontes batch (exportações de DB noturnas) no lake
• •Armazenar tabelas em formato colunar (Parquet) com uma camada de metadados fornecendo transações ACID e viagem no tempo
• •Suportar evolução de schema: adicionar colunas anuláveis em tabelas existentes sem reescrever todos os dados
• •Executar compactação em background para mesclar arquivos pequenos em arquivos Parquet de tamanho ótimo
• •Fornecer um catálogo de metadados: registrar tabelas, rastrear schemas, partições e linhagem; consultar tabelas via SQL

Requisitos Não-Funcionais

• •Latência de consulta: < 30 segundos para consultas analíticas em tabelas de 1PB (com partition pruning)
• •Lag de ingestão de streaming < 5 minutos do Kafka até consultável
• •Mudanças de schema (adicionar coluna) aplicadas < 1 segundo com zero downtime de leitura
• •Compactação reduz contagem de arquivos pequenos em 90% dentro de 1 hora

Restrições

• •Camada de armazenamento: armazenamento de objetos compatível com S3
• •Computação: separada do armazenamento (motores de consulta desacoplados como Spark, Trino, Athena)
• •Tipos de dados: estruturados (CDC de DBs OLTP) e semi-estruturados (logs de eventos JSON)

Critérios de Avaliação