Saltar al contenido
Integrafy KnowOS · 02 Data Lake

Le référentiel unique de votre vérité.

Données brutes et normalisées au même endroit. Versioning natif avec time travel. Lineage de bout en bout. Partitionnement multi-tenant et temporel. Compatible S3 sur Apache Iceberg.

Diagramme du Data Lake d'Integrafy KnowOS
Où cela s’inscrit

Integrafy KnowOS est la couche de connaissance de la plateforme : il transforme ERP, PIM, tarifs en PDF et documentation en une ontologie métier que toute IA peut interroger via MCP, avec la source citée et des permissions par jeton. Le data lake est l’endroit où ces données sont conservées, avec leur historique et leur traçabilité.

Qu'est-ce qui rend ce Data Lake différent\u00a0?

Deux zones, un stockage

Zone raw pour les données brutes telles qu'elles arrivent ; zone normalisée avec le modèle canonique appliqué. Les deux coexistent et se croisent à la demande.

Lineage automatique

Chaque ligne du lake sait de quel événement elle provient, quelles transformations elle a subies, quand elle a été écrite. Traçabilité totale pour audit et debug.

Time travel

Consultez l'état du lake à n'importe quel moment passé. SELECT ... AS OF hier. Rapports historiques sans snapshots manuels.

Partitionnement intelligent

Par date, tenant, type d'événement. Les requêtes ne lisent que les partitions pertinentes. Scalable à plusieurs téraoctets sans sacrifier la vitesse.

Compacting automatique

Le lake compacte les petits fichiers en grands pour maintenir les performances. Sans maintenance manuelle ni dégradation avec l'usage.

Multi-tenant natif

Chaque tenant dispose de partitions isolées avec ACLs. Sécurité par défaut sans duplication d'infrastructure.

Exemple réel\u00a0: résoudre une divergence comptable

Problème\u00a0: Une facture émise le mois dernier ne correspond pas au bon de livraison.

Sans lake\u00a0: Rechercher dans les logs de l'ERP, fichiers EDI, sauvegardes manuelles. Des heures de travail, parfois des jours.

Avec Integrafy KnowOS Data Lake\u00a0:

→ Consultez la commande AS OF il y a 30\u00a0jours

→ Vous suivez le lineage jusqu'à l'événement d'origine de l'eCommerce

→ Vous comparez avec l'état actuel de l'ERP

→ La différence est évidente\u00a0: un ajustement manuel ultérieur a rompu la chaîne.

Questions fréquentes sur le Data Lake

Quelle technologie de stockage utilise le Data Lake ?

Stockage objet compatible S3 (AWS S3, Cloudflare R2, MinIO on-prem) au format Apache Iceberg ou Parquet. Nous choisissons la couche qui s'adapte à l'environnement du client : Cloud UE géré ou On-Premise sur votre propre infrastructure.

Qu'est-ce que le lineage et pourquoi est-ce important ?

Le lineage est la traçabilité de la donnée : de quelle source elle provient, quelles transformations elle a subies, où elle est répliquée. Quand un KPI semble étrange, au lieu d'enquêter à l'aveugle, vous suivez le lineage et trouvez l'origine en quelques secondes. Indispensable pour l'audit et le débogage.

Les versions antérieures des données sont-elles conservées ?

Oui. Time travel natif : vous pouvez consulter l'état exact du lake à n'importe quel moment passé (rétention configurable, typiquement 90 jours). Cela permet de reconstruire des rapports historiques sans snapshots manuels.

De combien de stockage ai-je besoin ?

Cela dépend du volume d'événements et de la rétention. Dans un B2B industriel typique (100-500 commandes/jour, 50 k produits) le lake initial fait environ 10-50 Go. Le Cloud UE s'adapte automatiquement ; l'On-Premise est dimensionné avec votre équipe.

Le Data Lake remplace-t-il mon data warehouse actuel ?

Il peut le faire, mais ce n'est pas obligatoire. Integrafy KnowOS peut coexister avec votre Snowflake/BigQuery/Redshift existant comme source complémentaire. De nombreux clients conservent leur DWH pour l'analytique historique et utilisent Integrafy KnowOS pour la donnée opérationnelle en temps réel.

Combien d'heures votre équipe perd-elle à chercher des données ?

Diagnostic gratuit en 30 minutes.