8 bénéfices des Data Products, au-delà du Data Mesh
On ne présente plus le Data Mesh - ce concept amené par Zhamak Dehghani, qui offre une nouvelle approche pour répondre aux exigences et aux opportunités découlant de l’évolution constante des données actuellement. Le Data Mesh propose une alternative aux architectures les plus répandues, de type Data Lake et Data Warehouse, qui sont organisées autour d’équipes IT centralisées pour servir la donnée. A l’inverse, le Data Mesh promeut la flexibilité et la réactivité en proposant de capitaliser sur la décentralisation des données tout en distribuant la responsabilité qui en découle.
Pilier essentiel d’une architecture de type Data Mesh, le Data Product est un actif de données réutilisable, conçu pour un usage bien spécifique et mis en place suite à une nomenclature et un planning défini au préalable.
Le rôle des Data Products dans une architecture Data Mesh
Au-delà de la notion concrète des Data Products, il est important de considérer le concept fondamental de gestion de la donnée comme un produit de l’entreprise. Au-delà d’envisager un simple livrable, il s’agit plutôt de prendre conscience d’un principe fondamental, d’un état d’esprit global.
Il est important d’adopter cet état d’esprit avant de vouloir se précipiter dans la création de Data Products. Cela permet de se concentrer sur les réels besoins des différents consommateurs de la donnée afin d’identifier des opportunités, de repérer des dysfonctionnements, de mettre en place des stratégies et, plus globalement, de contribuer à la mission finale de l’organisation. Il s’agit donc réellement d’appliquer des techniques tirées de la gestion de produits (industriels) à la donnée.
Il se trouve que de nombreuses organisations donnent justement un rôle central à la gestion de produit dans leur activité, puisque c’est souvent une fonction stratégique de l’entreprise. Dans ce cadre-là, les organisations ont mis en place des méthodes et des procédures bien établies pour étudier les besoins des différentes parties prenantes, pour valider les configurations ou fonctionnalités produits avec les utilisateurs, ou pour créer des cas d’usage et les améliorer avec le temps.
Les Data Products au-delà du Data Mesh
Appliquer l’approche de gestion de produit aux données est une stratégie qui bénéficie à de nombreux responsables data. Principalement car la création des Data Products doit se faire en étroite collaboration avec les utilisateurs et consommateurs de ces données, puisqu’ils comprennent naturellement les besoins métiers et peuvent apporter des solutions réelles à ces problématiques, capables d’être affinées avec le temps.
Mais il faut reconnaître que, bien que le Data Mesh ne soit pas une approche qui convienne à toutes les organisations, une équipe centralisée peut toujours améliorer sa collaboration avec les équipes internes métiers en appliquant cette logique produit à leurs projets data.
En plus d’améliorer les interactions en interne, ils permettent également de faciliter les interactions des consommateurs avec les jeux de données, les rendant plus faciles à utiliser, plus fiables et simples à partager avec d’autres fonctions. Voici 8 bénéfices principaux des data products :
#1 Ils répondent à une demande précise
Les utilisateurs créent des Data Products spécifiquement pour répondre à une demande ou à un cas d’usage précis. Ils permettent de se concentrer sur les fonctions essentielles d’un jeu de données et sur les cas métiers auxquels ils répondent.
#2 Les Data Products permettent de démocratiser la donnée dans l’organisation
Il suffit de posséder les bonnes autorisations pour pouvoir créer un Data Product pour soi-même ou pour d’autres. Cela permet aux métiers de résoudre eux-mêmes leurs problématiques, de façon rapide et agile, puisqu’ils sont les mieux informés pour le faire. Ils associent la puissance d'un pipeline ETL à la puissance du contexte métier, et exploitent la donnée de façon plus pertinente.
Une équipe métier peut ensuite facilement partager la donnée pour une autre équipe, ce qui réduit les problèmes de communication et les goulots d’étranglement internes, et favorise la communication transverse.
#3 Les Data Products peuvent être facilement réutilisables et adaptables
Ainsi les efforts d’une équipe pour créer des Data Products peuvent être partagés avec les autres, de façon à capitaliser sur ce qui a déjà été fait. Puisque les équipes sont en charge de leurs propres Data Products, elles peuvent plus facilement les améliorer au fil du temps ce qui réduit le délai des mises à jour et accélère les processus internes.
#4 Les Data Products sont visibles et accessibles
Les informations des Data Products sont organisées et répertoriées de façon à être facilement explorées, permettant aux équipes de trouver rapidement l’information dont elles ont besoin.
#5 Les Data Products participent à la fédération des données
Un même jeu de données peut être vu différemment par différentes équipes au sein d’une même organisation. Ainsi, il n’est plus nécessaire de créer plusieurs copies d’un même dataset. Les Data Products permettent de créer plusieurs accès personnalisés à une même donnée, de façon à s’adapter aux besoins des métiers qui la consultent.
#6 Les Data Products apportent des avantages au consommateurs mais aussi aux producteurs de données
Nous l’avons abordé, les consommateurs de données bénéficient d’une meilleure accessibilité à la donnée, qui est également plus fiable et plus proche du contexte et des besoins des métiers.
Mais les producteurs de données bénéficient également d’avantages conséquents, notamment par l’allégement de leurs charges de travail, grâce à l’autonomie accrue des consommateurs. Les équipes techniques peuvent ainsi se concentrer sur les projets de plus grande envergure, à forte valeur ajoutée, plutôt que d’être accaparés par les demandes quotidiennes des équipes internes.
#7 Les Data Products améliorent la sécurité des données
Chaque Data Product comporte par défaut des permissions attachées rôles et des privilèges. Cette fonctionnalité est fondamentale pour de nombreuses industries, en particulier pour celles qui manipulent des données sensibles et fortement réglementées comme des données financières ou personnelles.
#8 Les Data Products permettent de réduire les coûts et de gagner en agilité
La nature des Data Products les rend particulièrement adaptés aux workflows répétitifs qui permettent un suivi précis de certaines problématiques dans l’activité. Mais ils peuvent également être mis à jour et modifiés facilement. Si la problématique de départ change ou que la source de donnée à besoin d’être modifiée, le Data Product pourra aisément s’adapter. Dans les organisations agiles, ces qualités font des Data Products un outil puissant pour accompagner une croissance dynamique.
Ils permettent de réduire les coûts liés à la dépendance des métiers non techniques aux équipes centrales IT. Cette autonomie accrue permet de rendre la donnée plus accessible, de réduire la complexité de l’architecture data et de faire gagner du temps.
Pour conclure, une architecture de type Data Mesh n’est pas forcément adaptée à toutes les organisations. En revanche, considérer la donnée comme un produit a des avantages pour tous !
Le Data Mesh fait désormais partie de l’avenir du Big Data. Il s’adresse aux environnements manipulant de grands volumes de données, distribuées et diversifiées. Ce concept implique que nous devrions accepter la décentralisation à la fois de la gouvernance des données, mais également de la donnée elle-même, en donnant la responsabilité de création et d’utilisation de la donnée aux métiers plutôt qu’à une équipe IT centrale.
Mais il est clair que les organisations qui s’intéressent au Data Mesh doivent prendre en compte leur culture et environnement existants, ainsi que les technologies et ressources disponibles, ce qui pose parfois problème. A l’inverse, l’évolution des mentalités et des pratiques est plus facilement atteignable pour commencer à considérer la donnée comme un produit. Cela bénéficie en effet à des entreprises de toutes tailles, de toutes cultures data, et peu importe leurs défis opérationnels - cela permet avant tout de placer les besoins des acteurs et la valeur ajoutée de la donnée au cœur des préoccupations.
Il fait alors sens d’investir dans des technologies proposant une plateforme capable de créer et de gérer des Data Products, ainsi que leur gouvernance et permissions. Et qui sait, cela ouvrira peut-être les portes du Data Mesh à votre organisation…
Pour aller plus loin sur le sujet - nous vous offrons un exemplaire physique du tout nouvel ouvrage “Data Products for Dummies” à l’occasion du salon ! Le nombre de copies étant limité à 50 exemplaires, nous vous invitons dès maintenant à précommander votre livre ici pour le récupérer sur le stand de Starburst A31.