Data Mesh

Qu'est-ce?

Jouer avec la tragédie des silos, les prendre en compte et être efficace avec elle. C'est un mélange de:

• Organisation
• Technologie
• Compétences
• Processus.

C'est une utopie totale, il est impensable que tous les services puissent switcher d'ici 3 à 5 ans, mais c'est un phare, un guide à chercher pour aller dans la bonne direction du SI de l'entreprise.

Il ne faut pas l'appliquer comme un cahier des charges ou aller trop vite, mais garder le principe comme un guide.

Définition

Principes fondamentaux: 4 pilliers

1. Une organisation des données par domaine: proche de la réalité business, et nommé des gens pour valoriser et gérer les données du périmètre. Data Domain Owner. Et rattachés les compétences tech dans les domaines
2. Data en tant que produit: traiter la data, le data set, les informations et règles de gestion, qualité et métadonnées, mise à disposition: visualisation, standardisation, API et promotion (data marketplace). Distribution de la responsabilité
3. Fédérer des efforts avec data plateforme, partagé pour tous les domaines
4. Gouvernance des données, catalogue de données transverse utilisé par l'ensemble des domaines.

Pourquoi C'est Important?

Pour entreprise Data driven.

🟢: Thème / Question

Bonnes pratiques

• Avoir un domaine pilote
• Commencer sur le data product pour un premier premier
• Plateforme fédérée
• Gouvernance fédérée
• Comment embarquer les métiers.
• Etablir un plan d'action, priorisé et planifier sur 3 mois, 6 mois, 1 ans, 3 ans pour savoir ce que tout le monde doit faire.

⬅: Similaire

➡: Opposé

• Centralisation de la donnée
• Tragédie des silo: les données sont sillotées dans l'entreprise malgrès les besoins de les croiser.
• Datawarehouse: Bill Inmon

🟢: À Quoi Cela Conduit-il?

• Cadre de travail: Framework
• Outils pour le data mesh, Agnostique d'un point de vue technologique
  • Datawarehouse avec sql par exemple
  • Data autour du cloud.
  • Technologie de virtualisation des données.
• Observabilité des données (surveiller la qualité de bout en bout)

Références

• Conceptrice du concept: Zhamak Dehgani
• Livre blanc sur la data mesh: Data Mesh, Spiderman vous guide