Le Data Mesh, effet de mode ou véritable outil de transformation de votre business model ? 

Nos experts décryptent les concepts clés du Data Mesh et vous donnent les principaux outils pour appliquer ce cadre théorique permettant de rendre vos organisations plus flexibles et plus data centric. 

La démultiplication des sources de données et des utilisateurs, la diversité des transformations et des traitements requis en fonction des cas d’usages, l’exigence de vitesse avec laquelle il faut réagir aux évènements et la constante évolution du paysage technologique sont des changements difficiles à appréhender pour les entreprises n’ayant mis en place une organisation, des processus et une culture adaptés. Ciment de ce triptyque, la data permet de fluidifier le fonctionnement opérationnel quotidien de l’entreprise. Mais comment mettre cette donnée au cœur (devenir « data centric »), comment prendre des décisions fondées sur la donnée (être « data driven »), ou encore par où initier l’outillage en intelligence artificielle (devenir « AI-empowered ») ? Autant de défis qui ne peuvent être appréhendés qu’en profondeur. De nombreuses initiatives « de surface » se sont soldées par des échecs, et sans doute une certaine défiance à l’égard du « sujet data » : en effet, pour transformer l’entreprise il ne suffit pas d’outiller vos collaborateurs d’un outil de Data Visualization, de nommer un Chief Data Officer ou d’embaucher des Data Scientists. 

L‘obsession de « mettre la donnée au centre » ou une brève histoire du lieu de stockage de la donnée dans l’entreprise 

Depuis l’invention fin des années quatre-vingt de l’entrepôt de données, dont le but initial est de mettre à disposition la source servant de référence unique, il est principalement utilisé pour la prise de décisions dans l’entreprise sur la base de rapports réalisés via des outils de reporting. Sa conception prédominante est celle d’une donnée unifiée positionnée au centre, comme magasin d’approvisionnement (datamart), infocentre, ou puit de données.. Mais les magasins et les puits se sont multipliés, n’assurant plus la cohérence ou l’unicité des données : la rançon de l’accessibilité métier a été démultiplication des sources. Plus tard, le data lake a donc eu pour ambition de « recentraliser » les sources en les collectant pour toutes les localiser au même endroit. Mais les principaux clients des data lakes ont hélas été … les informaticiens eux-mêmes ! Depuis maintenant plus de dix ans, les distributions Hadoop ravissent les équipes Big Data, un peu moins les métiers, qui continuent d’accéder à leurs data warehouses historiques.  Il est dès lors manifeste qu’aucune des solutions évoquées ci-dessus n’est à la hauteur du défi que nous propose la quatrième révolution industrielle : dans l’entreprise de la data economy, la donnée doit être une source d’énergie accessible, fiable et valorisée.  C’est la proposition de valeur du Data Mesh, un paradigme qui permet de sortir de l’obsession de la centralisation, en laissant la donnée « là où elle est », c’est-à-dire près des métiers, permettant de ce fait d’assurer sa qualité et son stockage par principe de subsidiarité (les acteurs locaux en sont responsables et parties prenantes) tout en organisant la gouvernance d’accès. 

Fig.1 : Pourquoi mettre en place le Data Mesh ? 

En voulant casser les silos entre les enjeux technologiques et les enjeux métier au profit de l’utilisation de la donnée, le Data Mesh serait-il donc la solution magique pour démocratiser et industrialiser l’usage de la donnée au sein d’une organisation ?
Christophe HENG, Leader Data, Architecture & Cloud 

Concrètement, qu’est-ce que le Data Mesh ? 

Pour commencer, coupons court à une idée reçue : le Data Mesh n’est pas un nouveau type d’architecture ! Il s’agit d’un paradigme visant à rendre disponibles et accessibles les données à l’échelle, et dont les objectifs sont les suivants : 
  • Répondre avec élégance à la complexité, la volatilité, et l’incertitude du business 
  • Maintenir l’agilité face à la croissance 
  • Accélérer la production de valeur et le faire proportionnellement à l’investissement 
Pour cela, le Data Mesh se base sur quatre piliers fondateurs : 
  • DECENTRALIZED DOMAIN OWNERSHIP : inspiré du Domain Driven Design, le pilier principal du Data Mesh est la décentralisation et la distribution des responsabilités au plus proche de la donnée. Pour cela, il est nécessaire de s’appuyer sur une architecture découpant logiquement le stockage des données et les ressources de calcul par domaine. C’est d’ailleurs ce découpage logique et non technique qui permet aux équipes responsables des domaines d’être autonomes sur leur domaine, et ainsi de permettre la mise à l’échelle. 
  • DATA AS A PRODUCT : ensuite, le Data Mesh implique de considérer la data comme un produit. La donnée n’est alors plus uniquement l’énergie qui va propulser le produit, mais bien le produit lui-même. Il convient donc de mettre en place différents services pour y accéder (APIs, Data Marketplaces …) et permettre aux autres produits de l’entreprise d’être augmentés à l’aide de cette donnée. 
  • SELF-SERVE DATA PLATFORM : ou encore self-serve data infrastructure as a platform. Il s’agit de disposer d’un catalogue de services destinés aux développeurs faisant office de couche d’abstraction haut-niveau de l’infrastructure. Les services doivent masquer la complexité architecturale sous-jacente et donc être rapidement et facilement déployables. Le but est de permettre l’autonomie des domaines vis-à-vis des équipes Infra. 
  • FEDERATED COMPUTATIONAL GOVERNANCE : la traduction littérale est « gouvernance computationnelle fédérée ». Il s’agit de penser la gouvernance afin qu’elle soit automatisable, décentralisée, et que chaque domaine soit auto-souverain. Néanmoins, les règles doivent être normalisées afin d’être interopérables, d’où le besoin de fédération. 

Fig.2 : Les quatre piliers du Data Mesh 

Quels en sont les avantages ? 

Le Data Mesh promet certains avantages relatifs à l’exploitation de la donnée en entreprise : 
  • Avec le DECENTRALIZED DOMAIN OWNERSHIP, les données sont à la fois accessibles par les équipes métiers et les experts Data, facilitant ainsi la collaboration. Avoir des équipes Domaine responsables des données en améliore la qualité. L’autonomie des équipes métier sur leur domaine permet également de faire face plus facilement à la croissance du volume de données.
  • Grâce au DATA AS A PRODUCT, les experts Domaine sont au plus proche de la conception des produits car inclus dans les équipes Agile, qui de facto deviennent plus autonomes. Le SI devient également plus flexible grâce à des données considérées comme des produits à part entière. Enfin, l’expérimentation est rendue plus facile et peut se déployer plus facilement en production. 
  • Avec la SELF-SERVE DATA PLATORM, les relations entre urbanistes et architectes sont apaisées, et les Data Engineers sont plus efficaces, autonomes et épanouis car ils disposent d’outils et de templates facilitant et sécurisant leurs développements. L’émergence de nouveaux produits s’en voit donc accélérée. 
  • Le FEDERATED COMPUTATIONAL GOVERNANCE vous apporte une homogénéité dans vos règles de gouvernance, un monitoring industrialisé, une réduction des erreurs et des coûts, et un gain de confiance grâce à des règles conçues au niveau de chaque domaine et donc maîtrisées. 
En cible, les applications d’entreprise sont pensées pour échanger de la donnée, ce qui facilite la collaboration à l’intérieur et à l’extérieur de l’entreprise. « You build it you run it », c’est la fin de la responsabilité de la donnée sur une seule équipe centrale et le début d’une responsabilité partagée au niveau de l’entreprise permettant d’assurer une meilleure qualité et plus d’usages collaboratifs.  En résumé, le Data Mesh facilite l’autonomie, l’industrialisation, et l’adoption de cas d’usages data avec plus de collaboration et de vélocité. 

Comment monter au filet pour engager cette transformation ? 

Étant un paradigme ne venant pas en rupture mais davantage dans une évolution darwinienne de l’entreprise, le Data Mesh s’implémente de manière itérative en capitalisant sur l’existant.  Ainsi, il n’y a pas une seule façon d’adresser cette démarche, et le plan d’action doit être adapté à la taille de l’entreprise, la maturité data, la maturité agile, la maturité en gouvernance des données … Cependant, notre conviction est qu’il faut guider cette transformation à l’aune du retour sur investissement, car les investissements touchant aux fondations informatiques sont inévitablement importants. Il faut également s’assurer de la compréhension des nouveaux enjeux de l’entreprise liés à la data economy nécessitant cette transformation Data Mesh.  Par ailleurs, puisque le Data Mesh est également une affaire d’accessibilité à la donnée, les outils, les technologies et les processus traitant ces dernières doivent également être les plus accessibles possibles, les plus adaptés à leurs utilisateurs, afin de favoriser une vraie adoption.  Voici donc quelques astuces pour vous lancer sur les piliers organisationnels : 

A – Le Data Mesh pour capter les gisements de valeur : assurez-vous de démontrer le ROI de la démarche à chaque étape et à chaque partie prenante  

  • Sensibilisation aux concepts du Data Mesh et ROI de l’approche aux décisionnaires
Le Data Mesh peut potentiellement impacter l’organisation de votre entreprise. Assurez-vous d’acculturer, onboarder et projeter la situation idéale pour votre entreprise en termes de « data centricity », avec les décisionnaires et acteurs au sein de toute l’organisation. Il est donc nécessaire d’avoir le bon niveau de sponsorship. Cependant, nous constatons qu’une fois que les principaux acteurs ont compris le retour d’investissement en se lançant dans cette transformation, le sponsorship se fait assez naturellement.
  • État des lieux des quatre piliers du Data Mesh dans l’entreprise pour mesurer la maturité et les actions à déclencher 
Reprenez les quatre axes et évaluez votre organisation collectivement via des questionnaires d’autoévaluation. Analysez les résultats et lancez un plan d’action sur les axes prioritaires pour votre organisation et pour vos objectifs business.  
  • Adresser les 4 axes de façon, agile, incrémentale et orientez la transformation par cas d’usage 
Priorisez collectivement avec les métiers les transformations prioritaires à mener. Basez-vous sur des cas d’usages concrets. Mettez en place des cérémonies d’agilité à l’échelle pour assurer une gouvernance transparente, une priorisation par la valeur et une excellente visibilité, à la taille de l’entreprise.  B – Le Data Mesh comme trame pour la filière data : assurez-vous d’optimiser l’expérience utilisateur en rendant accessibles les processus, technologies et rôles. 
  • Créez une Data Marketplace accessible par tous et pour tous pour outiller entièrement les besoins de ce concept 
Si la responsabilité de la donnée est physiquement distribuée, cela ne signifie pas que la donnée est accessible via une multitude de routes. Tel un site e-commerce, créez un lieu de transaction pour faciliter l’usage des données. Rendez facilement accessible les technologies, les rôles, les concepts, les définitions et les processus permettant de consommer et produire la donnée par et pour l’entreprise. 
  • Lancez-vous avec 3 équipes clés qui pourront vous aider à rendre rapidement tangible cette transformation  

Une équipe Data Infra as a service permet de mettre en place l’infrastructure en self-service et fournit un cadre d’architecture pour l’entreprise. Elle met à disposition des composants techniques respectant les cinq exigences non-fonctionnelles de conformité (fiabilité, sécurité, confidentialité, intégrité, maintenabilité).  

 Une équipe Data Factory qui accompagne des métiers dans leur approches Data as a Product & Federated Computational Governance, et acculture. Elle fait émerger la valeur de la donnée et répond aux usages métiers tout en offrant un cadre à la constellation de micro-services domain-driven.   

Une équipe et un site interne Data Marketplace qui met en avant tous les outils data de l’entreprise (outils de self-bi, outils de catalogage de données, dictionnaire d’entreprise), des processus pour les utiliser (comment faire la demande d’accès aux données d’un domaine métier, comment faire une demande d’ingestion d’open data), les rôles de l’entreprise en termes de gouvernance (les data stewards, data owners) à un seul endroit. 
Encore une fois, il s’agit d’équipes logiques qui peuvent être à la fois présentes au sein de l’organe de gouvernance central et au sein des domaines. 

Fig.3 : Faciliter l’adoption d’une gouvernance fédérée des données 

C – Le Data Mesh pour tisser la culture data de l’entreprise : Assurez-vous d’obtenir la compréhension, l’adhésion et l’adoption des points structurants 
Renforcez vos méthodologies, processus et outils pour décupler l’intelligence collective et diffuser la responsabilité du patrimoine informationnel au sein de tous les métiers de l’entreprise dès le lancement de votre transformation.  
  • Knowledge Management – Utilisez votre Data Marketplace pour diffuser les processus d’utilisation des données en entreprise, notamment les patterns, modèles et outils accessibles sur la plateforme infra as a service.  
  • Governance by design – Impliquez l’ensemble des acteurs responsables dans la création, industrialisation des applications data intensives. Pensez votre produit pour tous ses acteurs et avec tous ces acteurs.  
  • Agilité à l’échelle – Inspirez-vous des méthodologies et cérémonies agiles pour structurer vos cycles de production et de mise à disposition des données avec des acteurs de toute l’entreprise 
La transformation data est avant tout une transformation culturelle. Rendez les technologies, concepts, usages le plus accessibles possibles afin que cela devienne naturel pour tous les acteurs de l’entreprise.

Vers l’exosquelette informationnel de l’entreprise à l’ère de la donnée 

Le Data Mesh n’est ni un canon d’architecture d’entreprise ni une finalité. Parce qu’il ne s’autodécrète pas (nulle entreprise ne peut décider de « mettre en place un Data Mesh »), son objet n’est pas de faire adhérer l’organisation à la data ou la data à l’organisation, mais bien de faire converger les deux.   Au-delà des concepts architecturaux, le Data Mesh donne des clés organisationnelles, culturelles, conceptuelles et technologiques pour que les données puissent être un vecteur de transformation de l’entreprise, permettant par là-même de réconcilier les développeurs et les utilisateurs en mettant ces derniers en situation et en responsabilité de « consommaction ».  Le Data Mesh ne saurait être réduit à sa portée instrumentale. Il a cette capacité à se produire lui-même, en permanence et en interaction avec son écosystème, lui permettant ainsi de maintenir sa finalité d’accès et d’exposition à la donnée malgré l’évolution de l’environnement. Voilà ce qui pourrait permettre d’esquisser le véritable exosquelette informationnel de l’entreprise.     Contribution de :

Sources bibliographiques 

Auteur

Ces contenus peuvent vous intéresser…