Les pipelines de données de streaming au cœur de la transformation de l'entreprise
Les données, en particulier lorsqu’elles sont exploitées en temps réel, sont aujourd’hui une composante essentielle de la vie des entreprises.
Elles fournissent des informations qui alimentent l’innovation et la création d’expériences personnalisées, et aident les acteurs économiques à mener leurs activités de manière intelligente et efficace. De nombreuses entreprises continuent toutefois de s’appuyer sur des données fragmentées, stockées sous différents formats au sein d’une combinaison de systèmes hébergés sur site ou dans le cloud. 60 % des leaders technologiques déclarent d’ailleurs que le principal obstacle à l’accès aux données en temps réel est la difficulté à intégrer différentes sources de données.
Afin de rendre les données plus accessibles, la plupart des entreprises informatiques s’efforcent de centraliser autant que possible leurs informations. Elles utilisent généralement des pipelines de données point à point pour transférer les données depuis leurs bases de données opérationnelles jusqu’à un entrepôt ou lac de données centralisé. Elles peuvent, par exemple, s’appuyer sur des pipelines ETL qui ingèrent des données et les transforment dans le cadre de lots périodiques, avant de les envoyer vers un entrepôt de données analytique en aval. Les pipelines ETL, tout comme les pipelines ETL inversés, peuvent également renvoyer les résultats d’une analyse qui s’est déroulée au sein de l’entrepôt de données vers les applications et bases opérationnelles.
Il est compliqué de mettre à l’échelle des pipelines de données traditionnels
Aujourd’hui, certaines entreprises utilisent des centaines voire des milliers de pipelines de données point à point. Malheureusement, force est de constater qu’il n’est pas possible d’utiliser des pipelines pour partager des données à grande échelle. Cette affirmation s'appuie sur plusieurs freins :
• Les traitements par lots qui demeurent inadaptés au temps réel,
• La centralisation des équipes chargées des données, débordées par la gestion des pipelines,
• Des capacités limitées en matière de gouvernance et d’observabilité qui freinent l'utilisation des données,
• Les ressources importantes nécessaires au traitement des données,
• Une conception monolithique qui les rend rigides et opaques.
Les pipelines de données de streaming offrent une nouvelle approche
De nombreuses entreprises se tournent vers le streaming pour concevoir leurs pipelines de données. Leurs équipes bénéficient ainsi d’une architecture découplée qui leur permet de partager en temps réel des données dans différents contextes au lieu de les intégrer dans un entrepôt centralisé. Elles utilisent des fonctionnalités de capture des changements de données (CDC) pour intercepter en permanence, sous forme de flux, les modifications qui interviennent au niveau des bases de données. Cela leur permet de combiner, d’enrichir et d’analyser les données à la volée, avant qu’elles atteignent des systèmes statiques tels qu’une base ou un entrepôt.
Contrairement aux pipelines traditionnels, les pipelines de streaming peuvent être développés à l’aide de langages déclaratifs comme SQL, qui permettent aux développeurs de définir ce qu’il doit se passer sans avoir à se préoccuper des détails opérationnels. Cette approche répond aux impératifs d’observabilité, de sécurité, de gestion et de conformité liés à une infrastructure de données centralisée disponible de manière continue, tout en tenant compte de la nécessité de pouvoir trouver et interroger facilement ces données afin que les développeurs et les ingénieurs puissent innover plus rapidement.
Enfin, les pipelines de données de streaming permettent aux entreprises de mettre en pratique les principes Agile pour créer des flux de données modulaires et réutilisables. Ces flux peuvent être testés et gérés à l’aide de dispositifs de contrôle du versioning et de systèmes d’intégration et de distribution continues (CI/CD). Les pipelines de données de streaming sont ainsi plus simples à maintenir et à mettre à l’échelle, et offrent un TCO inférieur aux systèmes traditionnels.
Comment mettre en place des pipelines de données de streaming
Les pipelines de données de streaming reposent sur une approche moderne visant à rendre les données accessibles en self-service. Au lieu d’acheminer les données vers un entrepôt centralisé ou un outil d’analyse avant de les rendre disponibles pour les applications, ces pipelines peuvent capturer les changements en temps réel et enrichir les données à la volée avant de les envoyer vers un ou plusieurs systèmes en aval. Grâce à cet accès à la demande, les équipes peuvent trouver, consulter, créer, partager et réutiliser des données plus facilement, au moment et à l’endroit où elles en ont besoin.
Confluent aide les entreprises à créer des pipelines de données de streaming, à les rentabiliser et à les faire évoluer pour les adapter à leur activité et à leurs besoins en matière de données. Notre plateforme permet de créer et de déployer des flux de données modernes en cinq étapes :
1 Connecter.
Créez et gérez vos flux de données à l’aide d’une interface utilisateur simple d’utilisation et de connecteurs préconfigurés.
2 Gouverner.
Gérez, identifiez et contrôlez vos flux de données, et appliquez-y les politiques de votre choix afin d’en garantir la qualité.
3 Enrichir.
Utilisez SQL pour combiner, agréger, nettoyer, traiter et modeler vos données en temps réel, et ainsi augmenter la sécurité, l’efficacité et l’exploitabilité de vos flux de données. Vous pourrez ainsi alimenter de nombreux cas d’usage opérationnels, analytiques et économiques.
4 Créer.
Préparez des données optimisés et fiables pour vos systèmes et applications en aval.
5 Partager.
Collaborez de manière sécurisée via des flux en direct qui permettent de trouver et de partager des données en mode self-service.
Alexandre LAMY
Regional Sales Director