Wie man die Datenlawine in Erkenntnisse umwandelt

Aufgrund der gegensätzlichen Trends der zunehmenden Komplexität von Strukturen und Systemen und der drastisch verkürzten Entwicklungszeiten stehen die Prüflabore unter enormem Druck, Testergebnisse schneller zu produzieren, um Kosten zu sparen und die Entwicklungszeiten zu verkürzen, obwohl mehr Daten von mehr Sensoren erfasst werden. Testingenieure suchen ständig nach Möglichkeiten, die Testzeit und das Risiko zu reduzieren. Um schneller und effizienter arbeiten zu können, müssen diese Ingenieure in der Lage sein, Testdaten in Echtzeit zu überwachen und darauf zu reagieren, unabhängig vom Datenvolumen.

Je nach Art des Tests, der Dauer und der Häufigkeit der Messungen wird eine überwältigende Datenlawine erzeugt. Die Herausforderung besteht nicht nur darin, die Daten zu erfassen, sondern auch große Datenmengen zu speichern und aufzubewahren sowie die Möglichkeit zu haben, auf diese Daten für eine schnelle, kontinuierliche Online-Analyse zuzugreifen. Große Mengen sowohl strukturierter als auch unstrukturierter Daten erfordern mehr Verarbeitungsleistung, Speicherplatz und eine zuverlässige Dateninfrastruktur. Wenn alle Elemente in einem skalierbaren Daten-Backend zusammengeführt werden, können die Markteinführungszeit erheblich verkürzt, die Kosten gesenkt und bessere Produkte entwickelt werden.

Anpassungsfähiges und skalierbares Daten-Backend

Ein anpassungsfähiges und skalierbares Daten-Backend bietet eine skalierbare Speicher- und Rechenplattform für die Erfassung von Datenströmen von Instrumenten, die Speicherung von Konfigurationen und die Durchführung von Analysen.

Um mit ständig wechselnden Anforderungen, Setup-Konfigurationen, Parametererweiterungen und unterschiedlichen Abtastraten zurechtzukommen, ist eine Trennung zwischen heißen und kalten Daten die beste Wahl. Rohdaten, d. h. Daten, auf die seltener zugegriffen wird und die nur für Audits oder die Nachbearbeitung von Tests benötigt werden (“kalte Daten”), werden in einer verteilten Streaming-Plattform gespeichert, die extrem effizient skaliert. Wenn es darum geht, neue Variablen aus Hunderttausenden von Abtastwerten pro Sekunde und aus Hunderten von Kanälen gleichzeitig zu speichern, zu verarbeiten und zu berechnen, wird diese verteilte Streaming-Architektur ihre Stärke und Leistungsfähigkeit zeigen.

Sogenannte “heiße Daten”, also Messdaten, auf die für die Analyse sofort zugegriffen werden muss, werden in einer NoSQL-Zeitreihendatenbank bereitgestellt. Diese Datenbank speichert Daten sicher in redundanten, fehlertoleranten Clustern. Alle Messdaten werden automatisch gesichert. Die flexible Datenaggregation stellt sicher, dass die Messdaten kontinuierlich von der Streaming-Plattform zur Datenbank mit vordefinierten Datensätzen verarbeitet werden, um die Datenverarbeitung von Testmetriken und KPIs wie Mittelwert, Standardabweichung und Minimum/Maximum zu erleichtern. Dieselben Daten können jedoch erneut abgespielt und anders aggregiert werden, falls eine detaillierte Analyse zu einem bestimmten Testereignis erforderlich ist. Dieser Ansatz minimiert die Investitions- und Betriebskosten für die IT- und Speicherinfrastruktur im Testlabor, während gleichzeitig die notwendige Rechenleistung für die testkritischen Datenanalyseaufgaben erhalten bleibt.

Das Testen von Flugzeugtriebwerken ist ein typischer Anwendungsfall, bei dem ein skalierbares Daten-Backend große Vorteile bietet. Bei Motortests fallen viele Daten an, vor allem wenn das Einschwingverhalten des Motors aufgezeichnet werden muss. Die Datenübertragungsraten können von 10 Abtastungen/Sekunde bis zu 100.000 Abtastungen/Sekunde variieren. Die Herausforderung besteht darin, riesige Mengen von Sensordaten zu speichern, sie rund um die Uhr verfügbar zu halten und eine schnelle Datenanalyse zu ermöglichen. Ein weiteres Beispiel, bei dem ein skalierbares Daten-Backend seine Vorteile unter Beweis stellt, ist die Ermüdungsprüfung von großen Bauteilen oder großflächigen Strukturen. Ein typisches Ermüdungsprüfprogramm ist in eine Reihe von Flugblöcken unterteilt. Am Ende jedes Flugblocks wird die Prüfung gestoppt und der Prüfling auf Risse untersucht. Diese manuellen Kontrollen sind zeitaufwändig, und die Zeitabstände zwischen diesen Kontrollen sind relativ groß. Strukturelle Anomalien werden möglicherweise zu spät erkannt und können dazu führen, dass in Betrieb befindliche Flugzeuge nachgerüstet werden müssen.

“Die Herausforderung besteht nicht nur in der Beschaffung der Daten, sondern auch in der Speicherung und Aufbewahrung großer Datenmengen.

Die zustandsorientierte Prüfung des Prüfkörpers anstelle der intervallorientierten Prüfung ist eine mögliche Lösung, um die Gesamtdauer der Ermüdungsprüfung zu verkürzen und Anomalien schnell zu erkennen. Dies hat unter anderem zur Folge, dass mehr Sensoren erforderlich sind, um das Verhalten des Probekörpers zu überwachen und Strukturversagen zu erkennen oder vorherzusagen. Da bei einem Ermüdungstest in vollem Umfang Daten mit einer Geschwindigkeit von bis zu 10 MB/s erzeugt werden können, die sich nach Abschluss auf Hunderte von Terabyte summieren, sind Datenverarbeitung und -analyse zu einem großen Engpass geworden.

Um die enormen Datenmengen zu erfassen, zu analysieren, zu speichern und für Anwendungen verfügbar zu machen, setzte Gantner auf eine Kombination aus Apache Kafka (Daten-Streaming) und CrateDB (verteilte NoSQL-Datenbank für IoT/Industrieanwendungen). CrateDB wird für die Echtzeit-Hot-Storage und Kafka für die kostengünstige, dokumentenbasierte Speicherung verwendet.

“Nach umfangreichen Recherchen und Vergleichen haben wir uns bei der Gestaltung des Daten-Backends für die Kombination von Apache Kafka und CrateDB entschieden”, erklärt Jürgen Sutterlüti, Head of Cloud and Data Analytics bei Gantner Instruments. “Sie sind praktisch der Motor, um den das gesamte Konzept aufgebaut ist.

Neue Stromverarbeitungsplattform

Apache Kafka ist ein Nachrichtensystem, das es ermöglicht, die von Instrumenten empfangenen Daten in eine Warteschlange zu stellen und für nachfolgende Systeme hochverfügbar zu machen. Kafka schaut sich jeden einzelnen empfangenen Wert an und analysiert ihn für aktuelle Maßnahmen, “Stream Processing”. Um die enormen Datenmengen zu erfassen, zu speichern und für Folgesysteme zugänglich zu machen, bedarf es jedoch einer Datenbank, die eine entsprechende Leistungsfähigkeit und Schnittstellen bietet, die einen schnellen und komfortablen Zugriff ermöglichen.

CrateDB ist eine neuartige verteilte SQL-Datenbank, die die Handhabung von Zeitreihenanalysen verbessert. Die Verwendung von SQL als Abfragesprache vereinfacht die Anwendung und Integration, und die NoSQL-Basistechnologie ermöglicht die Verarbeitung von IoT-Daten in einer Vielzahl von Formaten. Die CrateDB kann Hunderte von Terabytes an Daten speichern und garantiert dank der Shared-Nothing-Architektur innerhalb von Server-Clustern Echtzeitverfügbarkeit ohne Datenverlust oder Ausfallzeiten.

“CrateDB ist extrem schnell und hoch skalierbar”, sagt Sutterlüti. “Deshalb nutzen wir die Datenbank, um alle aggregierten Messdaten zu speichern und darauf zuzugreifen. Die Arbeit mit CrateDB zeigt das Potenzial, das sich aus der Kombination von Edge-Computing, Big-Data-Verarbeitung und maschinellem Lernen ergeben kann.”

Konnektivität

Immer mehr Prüflabore verwenden spezielle Steuerungs-, Überwachungs- und Datenerfassungssysteme. Beispiele aus der Praxis haben gezeigt, dass die fehlende Integration zwischen diesen Systemen immer noch zu einer späten Erkennung von Struktur- oder Systemanomalien führt. Einer der Gründe dafür ist, dass Multi-Source- und/oder Metadaten während des Tests nicht ohne Weiteres verfügbar sind. Die Messdaten können daher erst am Ende des Testlaufs (oder in vordefinierten Intervallen) vollständig ausgewertet werden.

Die Kafka-Stream-Processing-Engine verfügt über einen umfangreichen Satz von APIs zur Integration von Datenströmen von Drittanbietern, z. B. von einem Kontrollsystem. Die primären Messdaten können mit Kontroll- und Simulationsdaten angereichert werden. Die Bereitstellung einer offenen Softwarearchitektur, die eine Vielzahl von Publishsubscribe-basierten Protokollen (wie MQTT und DDS) unterstützt, ermöglicht die nahtlose Integration mit anderen Überwachungs-, Analyse- und Berichtstools. Für Prüflabore, die derzeit automatisierte Prüfsysteme unterhalten, bietet die Anwendungsprogrammierschnittstelle (API) eine einfache Möglichkeit zur Integration bestehender Umgebungen. Im Gegenzug sind sie in der Lage, die automatischen Aufzeichnungs-, Datenspeicher-, Plotting- und Konfigurationsmanagementfunktionen zu nutzen. Benutzer können auch programmatisch auf Daten zugreifen, die im Daten-Backend gespeichert sind, um sie für benutzerdefinierte Grafiken, Analysen und Berichterstellung zu verwenden.

Die Philosophie von Gantner besteht darin, den Kunden offene Schnittstellen zu bieten, an denen sie Daten speichern und an jeden beliebigen Ort senden können. Sutterlüti: “Unsere Kunden schätzen diese Option sehr, denn sie entlastet sie vom Umgang mit Daten und deren Speicherung. Stattdessen haben sie einfachen Zugang zu APIs, und alle bestehenden Funktionen, an die sie gewöhnt sind, sind weiterhin verfügbar.”

Schnelle Analyse

Die Analyse oder Fehlererkennung ist je nach Anwendung unterschiedlich. Gemeinsame Software- und Benutzeroberflächen für die Verwaltung, Visualisierung, Berichterstellung oder die Definition spezieller Ereignisregeln vereinfachen den Zugang und die Integration. Dieser Ansatz minimiert die Investitionskosten für die IT- und Speicherinfrastruktur im Testlabor, während gleichzeitig die notwendige Rechenleistung für testkritische Datenanalyseaufgaben erhalten bleibt. Um beispielsweise zeitliche und räumliche Analysen von Flugzeugtriebwerken durchzuführen oder die mechanische Reaktion einer Flugzeugstrukturkomponente besser zu verstehen, können Ingenieure mit Hilfe leistungsstarker Abfragefunktionen große Mengen an Sensordaten während des Fluges analysieren.

Die Trendüberwachung über die gesamte Lebensdauer der Prüfung zeigt schnell jede signifikante Änderung der Reaktion des Prüfgegenstands zwischen den sich wiederholenden Prüfbedingungen an. Mit einer anpassungsfähigen und skalierbaren Daten-Backend-Lösung ist Gantner Instruments in der Lage, eine Plattform bereitzustellen, die es Testlaboren ermöglicht, beliebige physikalische Daten in Echtzeit und unabhängig vom Datenvolumen zu erfassen, zu überwachen, zu analysieren und darauf zu reagieren und so Daten in Erkenntnisse zu verwandeln.

Erleben Sie die neue Plattform für moderne und robuste Messaufbauten

Die GI.bench vereint schnellere Versuchsaufbauten, Projektkonfiguration und -abwicklung sowie die Visualisierung von Datenströmen in einer digitalen Werkbank. Sie ermöglicht es Ihnen, Ihre Mess- und Prüfaufgaben im laufenden Betrieb zu konfigurieren, auszuführen und zu analysieren. Greifen Sie überall auf Live- und historische Messdaten zu.