Projete um Feature Store para ML

Requisitos

• •Registrar e versionar definições de features (grupos de features) com schema e lógica de transformação
• •Computar features a partir de dados brutos via pipelines batch (diário) e streaming (tempo real)
• •Servir features online com latência < 10ms para requisições de inferência
• •Gerar snapshots de features corretos em point-in-time para treinamento de modelos (sem vazamento de dados futuros)
• •Suportar backfill de valores históricos de features quando uma nova feature é adicionada

Requisitos Não-Funcionais

• •Lookup de features online < 10ms (p99)
• •Geração de dataset de treinamento para 100M entidades < 4 horas
• •Suportar 1.000 definições de features distintas
• •Features de streaming devem ter < 60 segundos de desatualização no online store

Restrições

• •Features são numéricas e categóricas, até 1.000 features por entidade
• •Entidades são usuários, produtos e transações
• •Jobs de treinamento rodam semanalmente; inferência online roda continuamente

Critérios de Avaliação