Diseña una Plataforma de Data Lake

Requisitos

• •Ingerir datos de fuentes de streaming (Kafka) y fuentes batch (exportaciones de DB nocturnas) en el lake
• •Almacenar tablas en formato columnar (Parquet) con una capa de metadatos que proporciona transacciones ACID y viaje en el tiempo
• •Soportar evolución de esquema: añadir columnas anulables a tablas existentes sin reescribir todos los datos
• •Ejecutar compactación en segundo plano para combinar archivos pequeños en archivos Parquet de tamaño óptimo
• •Proporcionar un catálogo de metadatos: registrar tablas, rastrear esquemas, particiones y linaje; consultar tablas mediante SQL

Requisitos No Funcionales

• •Latencia de consulta: < 30 segundos para consultas analíticas en tablas de 1PB (con poda de particiones)
• •Lag de ingesta de streaming < 5 minutos desde Kafka hasta consultable
• •Cambios de esquema (añadir columna) aplicados < 1 segundo con cero tiempo de inactividad de lectura
• •La compactación reduce el recuento de archivos pequeños en un 90% en 1 hora

Restricciones

• •Capa de almacenamiento: almacenamiento de objetos compatible con S3
• •Cómputo: separado del almacenamiento (motores de consulta desacoplados como Spark, Trino, Athena)
• •Tipos de datos: estructurados (CDC de DBs OLTP) y semi-estructurados (logs de eventos JSON)

Criterios de Evaluación