Data Mesh

  • Concept
  • Avancé
  • IA générative
  • Toujours utilisé

En bref

Organisation des données où chaque équipe métier gère et partage ses propres données comme un produit, plutôt que de tout centraliser dans une équipe unique.

Définition complète

Le Data Mesh (littéralement « maillage de données ») est une façon d’organiser les données d’une entreprise dans laquelle chaque équipe métier (ventes, marketing, ressources humaines…) devient responsable de ses propres données, qu’elle prépare, documente et met à disposition des autres équipes, plutôt que de tout faire transiter par une seule équipe centrale chargée de gérer toutes les données de l’entreprise.

Par exemple, dans une organisation en Data Mesh, l’équipe commerciale gère et partage elle-même ses données de ventes sous forme de Data Product bien documenté, tandis que l’équipe des ressources humaines fait de même avec ses propres données, chacune restant experte de son propre domaine plutôt que de dépendre d’une équipe centrale unique et souvent débordée.

Attention : le Data Mesh demande une coordination minimale entre les équipes, notamment sur des règles communes de qualité et de sécurité, sinon chaque équipe risque de gérer ses données de façon trop différente les unes des autres.

À quoi ça sert

Le Data Mesh sert à éviter qu’une seule équipe centrale devienne un goulot d’étranglement pour toutes les demandes de données de l’entreprise, ce qui ralentit souvent l’accès à l’information dans les grandes organisations.

Il aide aussi à confier la responsabilité des données aux équipes qui les connaissent le mieux, celles qui les produisent au quotidien, plutôt qu’à une équipe centrale qui doit comprendre tous les domaines de l’entreprise à la fois.

Enfin, il favorise une meilleure qualité des données, car chaque équipe est directement responsable de celles qu’elle partage, ce qui l’incite à les maintenir propres et bien documentées.

Cas d'usage typiques

– Répartir : comment éviter qu’une seule équipe informatique centrale soit submergée par toutes les demandes de données de l’entreprise ? Cela répartit la charge de travail entre les équipes métier.
– Responsabiliser : comment inciter chaque équipe à maintenir la qualité des données qu’elle produit ? Cela améliore la fiabilité globale des données de l’entreprise.
– Coordonner : comment s’assurer que toutes les équipes respectent des règles communes minimales de sécurité et de qualité ? Cela évite une trop grande disparité entre les équipes.
– Accélérer : comment permettre à une équipe marketing d’accéder rapidement aux données de ventes sans attendre une équipe centrale ? Cela fluidifie la collaboration entre services.
– Organiser : comment structurer une grande entreprise pour qu’elle gère efficacement des données venant de nombreux services différents ? Cela évite la centralisation excessive qui ralentit les grandes organisations.

Ce que tu sauras faire

Savoir expliquer pourquoi et comment répartir la responsabilité des données entre plusieurs équipes métier, plutôt que de tout centraliser dans une seule équipe.

Mises en situation

Situation 1 : une équipe informatique centrale débordée

Contexte : Dans une grande entreprise, toutes les demandes de données passent par une seule équipe informatique centrale, qui met plusieurs semaines à répondre à chaque demande.

Application : L’entreprise adopte une organisation en Data Mesh, où chaque service devient responsable de la préparation et du partage de ses propres données.

Résultat attendu : Les délais d’accès aux données diminuent fortement, car chaque équipe gère directement ses propres informations sans attendre l’équipe centrale.

Situation 2 : une équipe marketing qui accède plus vite aux données de ventes

Contexte : Une équipe marketing avait l’habitude d’attendre plusieurs jours pour obtenir des données de ventes préparées par une équipe centrale.

Application : Grâce au Data Mesh, l’équipe commerciale partage directement un Data Product de ventes accessible à toute l’entreprise.

Résultat attendu : L’équipe marketing accède immédiatement aux données dont elle a besoin, sans dépendre d’un intermédiaire central.

Situation 3 : une disparité de qualité entre équipes

Contexte : Après l’adoption d’un Data Mesh, certaines équipes documentent très bien leurs données tandis que d’autres le font de façon très sommaire.

Application : L’entreprise met en place des règles minimales communes de documentation et de qualité, applicables à toutes les équipes.

Résultat attendu : La qualité globale des données partagées devient plus homogène, tout en conservant l’autonomie de chaque équipe.

Application guidée : évaluer si le Data Mesh convient à une petite entreprise

Contexte : Une petite entreprise de dix employés envisage d’adopter une organisation en Data Mesh, inspirée par de grandes entreprises technologiques.

Question : Cette organisation est-elle réellement adaptée à la taille de cette entreprise ?

Résultat attendu : Le Data Mesh répond surtout aux difficultés des grandes organisations avec de nombreux services distincts ; une petite entreprise avec une équipe unique n’a généralement pas besoin d’une telle répartition et peut continuer à gérer ses données de façon plus centralisée et plus simple.

Application guidée : gérer un conflit entre équipes

Contexte : Deux équipes d’une entreprise organisée en Data Mesh utilisent des définitions différentes pour un même indicateur, ce qui crée des incohérences entre leurs analyses respectives.

Question : Comment cette situation devrait-elle être résolue dans une organisation en Data Mesh ?

Résultat attendu : Même si chaque équipe reste responsable de ses propres données, un minimum de coordination et de règles communes, définies collectivement, est nécessaire pour garantir la cohérence des définitions partagées entre les équipes de l’entreprise.

Pour bien le retenir

L'analogie

Le Data Mesh, c’est comme un réseau de marchés locaux spécialisés, plutôt qu’un unique supermarché centralisé où tout doit transiter par les mêmes entrepôts. Chaque marché, chaque équipe métier, est expert de ses propres produits, ses données, les prépare avec soin et les met à disposition facilement des autres, plutôt que de tout faire dépendre d’un seul entrepôt central souvent débordé par la demande de tous les quartiers à la fois.

« Plutôt qu'un seul entrepôt central, des marchés locaux experts de leurs propres produits. »

Pièges à éviter

À ne pas confondre avec

Une erreur fréquente consiste à croire que le Data Mesh signifie l'absence totale de règles communes entre les équipes. En réalité, un minimum de coordination reste nécessaire pour garantir la cohérence et la sécurité des données partagées.

Une autre confusion consiste à penser que cette organisation convient à toutes les entreprises, quelle que soit leur taille. Elle répond surtout aux difficultés rencontrées par de grandes organisations avec de nombreux services distincts, et n'apporte pas toujours un bénéfice évident dans une petite structure.

Enfin, certains sous-estiment l'effort de changement culturel que demande le Data Mesh, qui exige que chaque équipe accepte une responsabilité nouvelle sur la qualité de ses propres données.

Évolution historique

Apparition : Fin des années 2010

Quels changements depuis l’arrivée de l’IA ?

L’intelligence artificielle renforce l’intérêt du Data Mesh en augmentant les besoins en données bien organisées et accessibles.

Avant

La gestion centralisée des données, avec une équipe unique responsable de toute l’entreprise, suffisait souvent dans des organisations aux besoins en données plus limités.

Aujourd’hui

Avec la multiplication des projets d’intelligence artificielle, qui nécessitent l’accès à des données variées et bien préparées venant de nombreux services différents, une organisation plus décentralisée comme le Data Mesh aide les grandes entreprises à répondre plus rapidement à ces besoins croissants, sans faire dépendre chaque projet d’une seule équipe centrale.

Évolution historique

Années 2000 : les grandes entreprises centralisent généralement la gestion de leurs données dans une équipe informatique unique.

Années 2010 : la multiplication des sources et des volumes de données met en évidence les limites de cette centralisation, notamment des délais importants pour accéder aux données.

Fin des années 2010 : le concept de Data Mesh est formalisé pour proposer une alternative décentralisée, inspirée d’une organisation en équipes autonomes responsables de leurs propres données.

Aujourd’hui : cette approche se diffuse surtout dans les grandes organisations confrontées à des besoins croissants en données diverses, notamment pour alimenter des projets d’intelligence artificielle.