Comment transformer l’avalanche de données en informations utiles

En raison des tendances contradictoires que sont la complexité croissante des structures et des systèmes et la réduction drastique des délais de développement, les laboratoires d’essai sont soumis à une pression considérable pour produire des résultats d’essai plus rapidement afin de réduire les coûts et les délais de développement malgré l’acquisition d’un plus grand nombre de données provenant d’un plus grand nombre de capteurs. Les ingénieurs d’essai recherchent en permanence des moyens de réduire la durée des essais et les risques. Pour travailler plus rapidement et plus efficacement, ces ingénieurs doivent être en mesure de contrôler les données de test et d’y répondre en temps réel, quel que soit le volume de données.

En fonction du type de test, de la durée et de la fréquence des mesures, une avalanche de données est générée. Le défi à venir n’est pas seulement d’acquérir les données, mais aussi de stocker et de conserver de grands volumes de données, et d’avoir la capacité d’accéder à ces données pour une analyse rapide et continue en ligne. Les grands volumes de données structurées et non structurées nécessitent une puissance de traitement et un stockage accrus, ainsi qu’une infrastructure de données fiable. Lorsque tous les éléments sont appliqués ensemble dans un backend de données évolutif, il est possible d’améliorer considérablement le temps de mise sur le marché, de réduire les coûts et de construire de meilleurs produits.

Backend de données adaptable et évolutif

Un backend de données adaptatif et évolutif fournit une plateforme de stockage et de calcul évolutive pour l’acquisition de flux de données provenant d’instruments, le stockage de configurations et la réalisation d’analyses.

Pour faire face à l’évolution constante des besoins, à la configuration de l’installation, à l’extension des paramètres et à la variation des taux d’échantillonnage, la meilleure solution consiste à séparer les données chaudes et les données froides. Les données brutes, les données auxquelles on accède moins souvent et qui ne sont nécessaires qu’à des fins d’audit ou de post-traitement des tests (“données froides”), sont stockées dans une plate-forme distribuée en flux continu qui s’adapte de manière extrêmement efficace. Si l’on doit stocker, traiter et calculer de nouvelles variables à partir de centaines de milliers d’échantillons par seconde et de centaines de canaux en même temps, cette architecture de flux distribué montrera sa force et sa puissance.

Les données dites “chaudes”, c’est-à-dire les données de mesure auxquelles il faut accéder immédiatement pour les analyser, sont fournies dans une base de données de séries chronologiques NoSQL. Cette base de données stocke les données en toute sécurité dans des grappes redondantes et tolérantes aux pannes. Toutes les données de mesure sont automatiquement sauvegardées. L’agrégation flexible des données garantit que les données de mesure sont traitées en continu depuis la plateforme de streaming vers la base de données avec des ensembles de données prédéfinis pour faciliter le traitement des métriques de test et des indicateurs de performance clés, comme la valeur moyenne, l’écart-type et le minimum/maximum. Cependant, les mêmes données peuvent être rejouées et agrégées différemment au cas où une analyse détaillée d’un certain événement de test serait nécessaire. Cette approche permet de minimiser les investissements et les coûts d’exploitation de l’infrastructure informatique et de stockage dans le laboratoire d’essai, tout en maintenant les performances informatiques nécessaires aux tâches d’analyse des données critiques.

Les essais de moteurs d’avion sont un cas d’utilisation typique où un backend de données évolutif offre des avantages majeurs. Les essais de moteurs génèrent beaucoup de données, en particulier lorsque les réactions transitoires du moteur doivent être enregistrées. Les débits de données peuvent varier de 10 échantillons/seconde à 100 000 échantillons/seconde. Le défi consiste à stocker des quantités massives de données de capteurs, à les maintenir disponibles 24 heures sur 24 et 7 jours sur 7 et à permettre une analyse rapide des données. Un autre exemple où un backend de données évolutif prouve ses avantages est l’essai de fatigue de grands composants ou de structures à grande échelle. Un programme d’essai de fatigue typique est divisé en plusieurs blocs de vol. À la fin de chaque bloc de vol, l’essai est arrêté et l’éprouvette est inspectée à la recherche de fissures. Ces inspections manuelles prennent du temps et l’intervalle de temps entre ces inspections est relativement important. Les anomalies structurelles peuvent être détectées trop tard et nécessiter une remise à niveau des aéronefs en service.

“Le défi à venir n’est pas seulement d’acquérir les données, mais aussi de stocker et de préserver de grands volumes de données.

L’inspection de l’échantillon d’essai en fonction de l’état, au lieu de l’inspection par intervalles, est une solution potentielle pour réduire la durée totale de l’essai de fatigue et pour détecter rapidement les anomalies. L’une des conséquences est qu’il faut davantage de capteurs pour surveiller le comportement du spécimen d’essai et pour détecter ou prédire les défaillances structurelles. Étant donné qu’un essai de fatigue à grande échelle peut générer des données à des taux allant jusqu’à 10 Mo/s, totalisant des centaines de téraoctets à la fin de l’essai, le traitement et l’analyse des données sont devenus un goulot d’étranglement majeur.

Afin de capturer, d’analyser et de stocker l’énorme volume de données et de garantir leur disponibilité pour les applications, Gantner s’est tourné vers une combinaison d’Apache Kafka (flux de données) et de CrateDB (base de données NoSQL distribuée conçue pour les cas d’utilisation IoT/industriels). CrateDB est utilisé pour le stockage à chaud en temps réel et Kafka pour le stockage rentable de documents.

“Après des recherches et des comparaisons approfondies, nous avons décidé d’utiliser la combinaison d’Apache Kafka et de CrateDB pour la conception du backend de données”, explique Jürgen Sutterlüti, responsable du cloud et de l’analyse de données chez Gantner Instruments. “Ils sont pratiquement le moteur autour duquel tout le concept est construit”.

Nouvelle plateforme de traitement des flux

Apache Kafka est un système de messagerie qui permet de mettre en file d’attente les données reçues des instruments et de les rendre hautement disponibles pour les systèmes suivants. Kafka examine chaque valeur reçue et l’analyse pour les mesures actuelles, le “traitement de flux”. Toutefois, pour saisir, stocker et rendre accessibles aux systèmes ultérieurs les énormes volumes de données, il faut une base de données offrant les performances appropriées et des interfaces permettant un accès rapide et pratique.

CrateDB est un nouveau type de base de données SQL distribuée qui améliore le traitement de l’analyse des séries temporelles. L’utilisation de SQL comme langage de requête simplifie l’application et l’intégration, et la technologie de base NoSQL vous permet de traiter les données de l’IdO dans une variété de formats. La CrateDB peut contenir des centaines de téraoctets de données et, grâce à l’architecture “shared-nothing” au sein des grappes de serveurs, elle garantit une disponibilité en temps réel sans perte de données ni temps d’arrêt.

“CrateDB est extrêmement rapide et très évolutif”, explique M. Sutterlüti. “C’est pourquoi nous utilisons la base de données pour stocker et accéder à toutes les données de mesure agrégées. Travailler avec CrateDB démontre le potentiel qui peut résulter de la combinaison de l’edge computing, du traitement des big data et de l’apprentissage automatique.”

Connectivité

De plus en plus de laboratoires d’essai utilisent des systèmes spécialisés de contrôle, de surveillance et d’acquisition de données. Des exemples sur le terrain ont montré que le manque d’intégration entre ces systèmes entraîne toujours une détection tardive des anomalies structurelles ou du système. L’une des raisons est que les sources multiples et/ou les métadonnées ne sont pas facilement disponibles pendant le test. Les données de mesure ne peuvent donc être analysées complètement qu’à la fin de l’essai (ou à des intervalles prédéfinis).

Le moteur de traitement des flux Kafka est accompagné d’un ensemble complet d’API permettant d’intégrer des flux de données tiers, provenant par exemple d’un système de contrôle. Les données de mesure primaires peuvent être enrichies par des données de contrôle et de simulation. L’architecture logicielle ouverte qui prend en charge une variété de protocoles basés sur la publication et l’abonnement (tels que MQTT et DDS) permet une intégration transparente avec d’autres outils de surveillance, d’analyse et de création de rapports. Pour les laboratoires d’essais qui disposent déjà de systèmes d’essais automatisés, l’interface de programmation d’applications (API) offre un moyen simple d’intégrer les environnements existants. En retour, ils sont en mesure d’exploiter les capacités d’enregistrement automatique, de stockage des données, de traçage et de gestion de la configuration. Les utilisateurs peuvent également accéder par programmation aux données stockées dans le backend pour les utiliser avec des graphiques personnalisés, des analyses et des applications de génération de rapports.

La philosophie de Gantner est de fournir aux clients des interfaces ouvertes où ils peuvent stocker des données et les envoyer où ils le souhaitent. Selon M. Sutterlüti, “nos clients apprécient beaucoup cette option, car elle les dispense de gérer les données et de savoir comment les stocker. Au lieu de cela, ils ont un accès facile aux API, et toutes les fonctions existantes auxquelles ils sont habitués restent disponibles.”

Analyse rapide

L’analyse ou la détection des défaillances diffère selon l’application. Un logiciel commun et des interfaces utilisateur pour la gestion, la visualisation, l’établissement de rapports ou la définition de règles d’événements spécifiques simplifient l’accès et l’intégration. Cette approche permet de minimiser les coûts d’investissement dans l’infrastructure informatique et de stockage du laboratoire d’essai, tout en maintenant les performances informatiques nécessaires aux tâches d’analyse des données critiques. Par exemple, pour effectuer une analyse temporelle et spatiale des moteurs d’avion, ou pour mieux comprendre la réponse mécanique d’un composant structurel d’avion, de puissantes capacités d’interrogation permettent aux ingénieurs d’analyser à la volée de grandes quantités de données de capteurs.

Le suivi des tendances pendant toute la durée de l’essai signalera rapidement tout changement significatif dans la réponse de l’article testé entre les conditions d’essai répétitives. Grâce à une solution de backend de données adaptable et évolutive, Gantner Instruments est en mesure de fournir une plateforme qui permet aux laboratoires d’essais de saisir, surveiller, analyser et réagir sur n’importe quelle donnée physique en temps réel et quel que soit le volume de données, transformant ainsi les données en connaissance.

Découvrez la nouvelle plateforme pour des installations de mesure modernes et robustes

La plateforme logicielle GI.bench permet d’accélérer la mise en place des tests, la configuration et la gestion des projets, ainsi que la visualisation des flux de données dans un seul et même poste de travail numérique. Il vous permet de configurer, d’exécuter et d’analyser vos tâches de mesure et de test à la volée. Accédez partout aux données de mesure en direct et aux données historiques.