Newsletter de Lansrod

Par Fahd ESSID, CTO Big Datav, LANSROD


COMMENT VOYEZ-VOUS L’ÉVOLUTION ET LA MATURITÉ DU BIG DATA ?

Hadoop et les technologies NoSQL ont une dizaine d’années au­jourd’hui. Après une période d’attentisme au sein de plusieurs en­treprises, marquée par la volonté de résultats prouvés dans leur domaine avant de se lancer, nous constatons dans presque tous les secteurs une évolution importante : ces grandes entreprises ont rejoint les groupes précurseurs déjà convertis depuis de nom­breuses années au Big Data.

Et si ce n’est pas encore le cas, cela fait partie de leur stratégie à moyen ou à long terme. De façon générale, notre ressenti est que le Big Data devient l’enjeu stra­tégique majeur dans le domaine IT. Une fois la décision prise de se lancer dans le Big Data, il existe diverses manières d’adopter ces technologies. La tendance étant aujourd’hui d’utiliser un Data Lake, ce que nous partageons. En effet, dans une démarche de data management, le Data Lake permet de collecter tout type de données, de raffiner celles-ci pour offrir une vision 360. Le Data Lake est basé sur des technologies qui permettent le traitement in-situ des données. Le fait de disposer de puissance de calcul directement associée au stockage permet de raffiner un flux de données, et ainsi de facilement en créer les déclinaisons métier attendues. La richesse des outillages intégrés permet ensuite de tirer parti des données.

QUELS SONT LES CHALLENGES ET DIFFICULTÉES QUE RENCONTRENT LES ENTREPRISES DANS LA GESTION DE LEURS DONNÉES ?

Une des difficultés rencontrées par les entreprises est l’offre plé­thorique dans le domaine Big Data, rendant le choix très complexe. Il en ressort que les entreprises se sentent perdues et démunies face à une offre de plus en plus grande. Lors de la mise en place d’un Data Lake, nous rencontrons souvent deux problèmes récur­rents : d’une part, le nombre de projets de mise en place de Data Lake couplé à une pénurie de data engineer entraine une mise en route difficile et compliquée dans le parcours de mise en place d’un Data Lake. D’autre part, il est fréquent qu’une entreprise ait des milliers de sources à intégrer dans son Data Lake. Pour chaque source, une chaine de traitement (ingestion, mais aussi calcul et exposition) doit être développée. C’est un travail tita­nesque à l’échelle de plusieurs milliers de sources. Enfin, les so­lutions mises en place au sein de l’entreprise font face au manque de connaissances des équipes métiers, matérialisé par une maî­trise imparfaite des outils ainsi mis à leur disposition et destinés à leur donner accès au Big Data. Pour aider nos clients dans cette logique, nous avons mis au point une solution de data manage­ment, DM360, visant à apporter plus d’autonomie aux entreprises.

COMMENT RÉPONDEZ VOUS AUX DIFFÉRENTS CHALLENGES ET PROBLÈMES CITÉS ?

Concernant la pénurie d’ingénieurs ayant une expertise Big Data, auquel nous avons nous-même été confrontés dès notre entrée dans le Big Data, nous avons créé Lansrod Data Factory, un centre de compétence unique permettant de former des ingénieurs issus de grandes écoles au métier du Big Data. Au-delà de leur cursus de haut niveau, ils ont en point commun une grande motivation. Ils ont à disposition des clusters « tests » pour évaluer les tech­nologies en toute sécurité. Ils sont mis à contribution sur des pro­jets de grosse volumétrie de type industriel et non « PoC ». Ceci implique qu’ils rencontrent les difficultés inhérentes et présentes sur les projets clients. Cela leurs confère un avantage important par rapport aux autres ingénieurs Big Data. Une certification Big Data Hortonworks HDP® vient valider ses acquis. Cette stratégie nous a permis de répondre qualitativement et quantitativement aux besoins de nos clients en ressources Big Data, et a été validée par nos clients : en effet, 5 ingénieurs constituaient le Lansrod Data Factory lors de la création du centre en 2014. Ils sont au­jourd’hui 50, sans compter les 30 ingénieurs ayant intégrés des projets clients. Notre application DM360 répond à l’autre problé­matique rencontrée lors de l’intégration et lors de la gestion des milliers de sources dans le Data Lake. Celle-ci se résume simple­ment en plusieurs fonctionnalités :

  • La capacité à permettre l’ingestion automatique de tous types de flux.
  • Un moteur d’agrégation, de jointures, d’enrichissement et de calcul intégré.
  • Un choix d’exposition ou d’exportation vers une BDD Sql externe.
  • Un ordonnanceur pour la gestion des cycles de vie des données. • Pour terminer, une interface utilisateur pour gérer l’ensemble de ces fonctionnalités. En conséquence, il n’est plus nécessaire de faire appel à un data engineer pour développer ces chaines de traitement spark. Le gain, rapporté à l’ensemble des flux, est énorme. L’objectif est d’apporter une meilleure autonomie aux en­treprises, et de leur permettre de se concentrer sur des problé­matiques métiers.

QU’EN EST-IL DE VOTRE STRATEGIE DE LA CULTURE DATA ?

Les experts choisissent déjà LANSROD pour son approche unique du Big Data et sa capacité à leur proposer des projets com­plexes mais aussi une structure incluant un support important. L’organisation de l’entreprise basée sur la prise d’initiative et l’in­novation sont valorisées et encouragées. Il y a une verticalité im­portante, où les experts échangent fréquemment avec un groupe de data engineer, afin de capitaliser sur les acquis et connais­sances de chacun. J’y ai moi-même connu une belle progression en étant aujourd’hui architecte et techlead Big Data au sein d’un leader de la finance.

Fahd ESSID

fahd.essid@lansrod.com

+33 6 58 78 10 95

Leave a Reply