Labo Snowflake-like
Ce labo est une alternative open source à Snowflake : il en reproduit l'environnement en local, avec des briques auto-hébergées. L'objectif est de travailler de façon autonome, dans un contexte aussi proche que possible de Snowflake, puis de transposer le travail sur Snowflake sans le réécrire. Stade : dev / POC. Les données sont synthétiques ou publiques, et tout tourne en local avec Docker Compose.
Les quatre composants
| Composant | Contenu | Équivalent Snowflake |
|---|---|---|
| Socle | MinIO, Iceberg, Polaris (persistance Postgres), Trino, DuckDB | Stockage et stages, format de table, catalogue et RBAC, warehouses |
| Collecte et retraitement | Couches landing, raw, standardized, semantic ; intake assisté par IA ; colonnes de preuve ; gouvernance | Stages, Snowpipe, tables, semantic views |
cortex_lab |
Fonctions AI_* aux noms et contrats Cortex, routées vers LiteLLM |
Snowflake Cortex AI Functions |
| Prévision | Modèle t0-gamma, table forecast |
Service conteneurisé (Snowpark Container Services sur Snowflake) |
Services du labo sur le réseau local
| Service | Adresse |
|---|---|
| Trino (interface web et API) | http://openflake.nuc |
| Polaris (catalogue REST, OAuth) | http://polaris.openflake.nuc |
| API Marquez (lineage) | http://marquez.openflake.nuc |
Documentation
L'index de la documentation liste les quatorze documents du dépôt. Parcours de lecture :
- Découvrir le labo : architecture, puis portabilité vers Snowflake.
- Installer et faire tourner : exploitation, puis données synthétiques pour produire des fichiers à charger.
- Confier le labo à un agent de code : guide pour un agent.
- Travailler sur un composant : méthode Claude Code, le document du composant (socle, collecte et retraitement, cortex_lab ou prévision), puis tests et gate.
- Préparer la transposition vers Snowflake : portabilité vers Snowflake et décisions.