Edge Computing et Big Data!

Jean-Claude TAGGER, COO QuasarDB

https://www.linkedin.com/in/jctaggerquasardb/

En complément du Big Data traditionnel reposant sur un stockage des données dans des data centers très souvent gigantesques comme dans le Cloud, l’Edge Computing offre une architecture répartie à la périphérie du réseau, à savoir au plus près de là où les données sont produites en particulier par les objets connectés.

Et les bénéfices sont nombreux à analyser au plus vite des données liées à la santé, au pilotage d’un véhicule autonome ou au contrôle qualité en usine.

 

Le Edge Computing apporte :

-De la rapidité en effectuant des traitements analytiques sur les données au plus proche de leur lieu de captation. Cela permet aux industriels d’obtenir un traitement en quasi-temps réel des informations recueillies.

-Une réduction de l’utilisation de la bande passante en désengorgeant le trafic entre objets connectés et Data Center.

– Une assurance de continuité de service, même en cas de défaillance du réseau

En revanche, les contraintes d’espace et de consommation d’énergie sont un frein à la réalisation au niveau local des traitements analytiques nécessaires qui peuvent être assez sophistiqués et demandent une organisation optimisée des données, essentiellement des Time-Series.

Le système de gestion des données, utilisé à la fois en Data-Center et en Edge Computing, doit donc satisfaire aux spécifications suivantes :

– Un seul outil pour traiter en temps réel à la fois des données historiques et instantanées

– Une très forte sobriété (pour tourner sur des petits objets)

-Un très fort taux de compression (pour limiter l’espace mémoire utilisé en Edge)

-Une capacité d’insertion instantanée (pour recevoir en central simultanément les données de plusieurs milliers d’objets quand la communication a lieu)

– Une richesse fonctionnelle d’analyse

-Une simplicité d’usage pour les analystes et data-scientistes dont l’expertise doit être avant tout métier plutôt qu’informatique.

Pour y parvenir, l’équipe R&D de l’éditeur français QuasarDB a développé des algorithmes de compression et de distribution extrêmement complexes, associés à une approche « zero-copy » et transactionnelle.

Et au final, QuasarDB, base de données Time Series, distribuée, transactionnelle, orientée colonne, gère parfaitement le flux d’information provenant de millions de capteurs, par exemple dans les domaines du transport, l’industrie ou de la finance de marché…

Les ingénieurs d’Indurad GMBH ont d’ailleurs sélectionné QuasarDB après avoir comparé de nombreuses bases de données Time-Series comme brique essentielle de leur architecture.

Indurad est une société industrielle allemande de premier plan dans le domaine de la numérisation, de l’automatisation, de la localisation et de la prévention des collisions grâce à une technologie radar et à transpondeur unique dans les industries minières et de la manutention.

Les équipements d’Indurad (Robots munis de radar) collectent dans des zones inaccessibles aux personnes, des données massives de l’environnement dans lequel ils évoluent (Mines, Chantiers, Centrales). Ces données sont utilisées à la fois en temps réel pour guider les équipements (entre autres), pour les analyses ultérieures permettant d’optimiser les opérations (par exemple minières) et pour la maintenance prédictive des équipements eux-mêmes. Les connexions entre ces équipements et les centres de contrôle ne sont pas permanentes, il est donc indispensable que les données puissent être stockées et analysées au niveau du robot sans attendre le transfert vers le data-center de chaque client.

Un data-center collecte les données (essentiellement des Time-Series) de milliers d’équipements et des data-scientistes de diverses disciplines (Géologie, Mécanique, Electronique, radars.) analysent les informations.

La première étape a consisté à porter QuasarDB sur la carte mère (à base ARM 32 B) de ces robots.

Les différentes applications analytiques sont progressivement développées et lancées en production tant au niveau du robot que du Datacenter en s’appuyant sur :

– la facilité d’utilisation de QuasarDB (requêtes de type SQL, visualisation Grafana intégrée, intégration en Python, R, C/C++, Java, etc.)

– la notion de « Tags » (meta-data) qui sont disponibles tant au niveau du robot (Edge computing) que du Data center et facilitent les analyses)

– les performances en ingestion de données (le Data center supporte jusqu’à cent millions d’entrées par seconde provenant de milliers de robots) et en requête temps réel (QuasarDB est par exemple 3 000 fois plus rapide que ses concurrents) ;

Dans d’autres domaines, QuasarDB permet en comparant en temps réel les données provenant de multiples capteurs aux données historiques en temps réel, d’anticiper un grand nombre d’incidents autrefois imprévisibles.

Avant d’entrer dans les segments de l’industriel et du transport, QuasarDB avait déjà fait ses preuves dans l’environnement très exigeant de la Finance de Marché. Depuis 2014, en traitant des centaines de Téraoctets par jour, QuasarDB y a démontré ses performances, sa robustesse et sa facilité d’utilisation.

QuasarDB est aujourd’hui la seule solution opérationnelle sur le marché qui, grâce à sa conception innovante et sa sobriété, combine stockage à grande échelle et interrogation instantanée et concilie Edge Computing, Big Data et Cloud Computing.

 

 

Leave a Reply