{"id":65407,"date":"2019-11-17T09:16:59","date_gmt":"2019-11-17T09:16:59","guid":{"rendered":"https:\/\/www.gantner-instruments.com\/wie-man-die-datenlawine-in-erkenntnisse-umwandelt\/"},"modified":"2025-02-17T09:26:07","modified_gmt":"2025-02-17T09:26:07","slug":"wie-man-die-datenlawine-in-erkenntnisse-umwandelt","status":"publish","type":"post","link":"https:\/\/www.gantner-instruments.com\/de\/blog\/wie-man-die-datenlawine-in-erkenntnisse-umwandelt\/","title":{"rendered":"Wie man die Datenlawine in Erkenntnisse umwandelt"},"content":{"rendered":"\n

Aufgrund der gegens\u00e4tzlichen Trends der zunehmenden Komplexit\u00e4t von Strukturen und Systemen und der drastisch verk\u00fcrzten Entwicklungszeiten stehen die Pr\u00fcflabore unter enormem Druck, Testergebnisse schneller zu produzieren, um Kosten zu sparen und die Entwicklungszeiten zu verk\u00fcrzen, obwohl mehr Daten von mehr Sensoren erfasst werden. Testingenieure suchen st\u00e4ndig nach M\u00f6glichkeiten, die Testzeit und das Risiko zu reduzieren. Um schneller und effizienter arbeiten zu k\u00f6nnen, m\u00fcssen diese Ingenieure in der Lage sein, Testdaten in Echtzeit zu \u00fcberwachen und darauf zu reagieren, unabh\u00e4ngig vom Datenvolumen.<\/p>\n\n

Je nach Art des Tests, der Dauer und der H\u00e4ufigkeit der Messungen wird eine \u00fcberw\u00e4ltigende Datenlawine erzeugt. Die Herausforderung besteht nicht nur darin, die Daten zu erfassen, sondern auch gro\u00dfe Datenmengen zu speichern und aufzubewahren sowie die M\u00f6glichkeit zu haben, auf diese Daten f\u00fcr eine schnelle, kontinuierliche Online-Analyse zuzugreifen. Gro\u00dfe Mengen sowohl strukturierter als auch unstrukturierter Daten erfordern mehr Verarbeitungsleistung, Speicherplatz und eine zuverl\u00e4ssige Dateninfrastruktur. Wenn alle Elemente in einem skalierbaren Daten-Backend zusammengef\u00fchrt werden, k\u00f6nnen die Markteinf\u00fchrungszeit erheblich verk\u00fcrzt, die Kosten gesenkt und bessere Produkte entwickelt werden.<\/p>\n\n

Anpassungsf\u00e4higes und skalierbares Daten-Backend<\/h2>\n\n

Ein anpassungsf\u00e4higes und skalierbares Daten-Backend bietet eine skalierbare Speicher- und Rechenplattform f\u00fcr die Erfassung von Datenstr\u00f6men von Instrumenten, die Speicherung von Konfigurationen und die Durchf\u00fchrung von Analysen.<\/p>\n\n

Um mit st\u00e4ndig wechselnden Anforderungen, Setup-Konfigurationen, Parametererweiterungen und unterschiedlichen Abtastraten zurechtzukommen, ist eine Trennung zwischen hei\u00dfen und kalten Daten die beste Wahl. Rohdaten, d. h. Daten, auf die seltener zugegriffen wird und die nur f\u00fcr Audits oder die Nachbearbeitung von Tests ben\u00f6tigt werden (“kalte Daten”), werden in einer verteilten Streaming-Plattform gespeichert, die extrem effizient skaliert. Wenn es darum geht, neue Variablen aus Hunderttausenden von Abtastwerten pro Sekunde und aus Hunderten von Kan\u00e4len gleichzeitig zu speichern, zu verarbeiten und zu berechnen, wird diese verteilte Streaming-Architektur ihre St\u00e4rke und Leistungsf\u00e4higkeit zeigen.<\/p>\n\n

Sogenannte “hei\u00dfe Daten”, also Messdaten, auf die f\u00fcr die Analyse sofort zugegriffen werden muss, werden in einer NoSQL-Zeitreihendatenbank bereitgestellt. Diese Datenbank speichert Daten sicher in redundanten, fehlertoleranten Clustern. Alle Messdaten werden automatisch gesichert. Die flexible Datenaggregation stellt sicher, dass die Messdaten kontinuierlich von der Streaming-Plattform zur Datenbank mit vordefinierten Datens\u00e4tzen verarbeitet werden, um die Datenverarbeitung von Testmetriken und KPIs wie Mittelwert, Standardabweichung und Minimum\/Maximum zu erleichtern. Dieselben Daten k\u00f6nnen jedoch erneut abgespielt und anders aggregiert werden, falls eine detaillierte Analyse zu einem bestimmten Testereignis erforderlich ist. Dieser Ansatz minimiert die Investitions- und Betriebskosten f\u00fcr die IT- und Speicherinfrastruktur im Testlabor, w\u00e4hrend gleichzeitig die notwendige Rechenleistung f\u00fcr die testkritischen Datenanalyseaufgaben erhalten bleibt.<\/p>\n\n

Das Testen von Flugzeugtriebwerken ist ein typischer Anwendungsfall, bei dem ein skalierbares Daten-Backend gro\u00dfe Vorteile bietet. Bei Motortests fallen viele Daten an, vor allem wenn das Einschwingverhalten des Motors aufgezeichnet werden muss. Die Daten\u00fcbertragungsraten k\u00f6nnen von 10 Abtastungen\/Sekunde bis zu 100.000 Abtastungen\/Sekunde variieren. Die Herausforderung besteht darin, riesige Mengen von Sensordaten zu speichern, sie rund um die Uhr verf\u00fcgbar zu halten und eine schnelle Datenanalyse zu erm\u00f6glichen. Ein weiteres Beispiel, bei dem ein skalierbares Daten-Backend seine Vorteile unter Beweis stellt, ist die Erm\u00fcdungspr\u00fcfung von gro\u00dfen Bauteilen oder gro\u00dffl\u00e4chigen Strukturen. Ein typisches Erm\u00fcdungspr\u00fcfprogramm ist in eine Reihe von Flugbl\u00f6cken unterteilt. Am Ende jedes Flugblocks wird die Pr\u00fcfung gestoppt und der Pr\u00fcfling auf Risse untersucht. Diese manuellen Kontrollen sind zeitaufw\u00e4ndig, und die Zeitabst\u00e4nde zwischen diesen Kontrollen sind relativ gro\u00df. Strukturelle Anomalien werden m\u00f6glicherweise zu sp\u00e4t erkannt und k\u00f6nnen dazu f\u00fchren, dass in Betrieb befindliche Flugzeuge nachger\u00fcstet werden m\u00fcssen.<\/p>\n\n

\n

<\/p>\n“Die Herausforderung besteht nicht nur in der Beschaffung der Daten, sondern auch in der Speicherung und Aufbewahrung gro\u00dfer Datenmengen.<\/cite><\/blockquote>\n\n

Die zustandsorientierte Pr\u00fcfung des Pr\u00fcfk\u00f6rpers anstelle der intervallorientierten Pr\u00fcfung ist eine m\u00f6gliche L\u00f6sung, um die Gesamtdauer der Erm\u00fcdungspr\u00fcfung zu verk\u00fcrzen und Anomalien schnell zu erkennen. Dies hat unter anderem zur Folge, dass mehr Sensoren erforderlich sind, um das Verhalten des Probek\u00f6rpers zu \u00fcberwachen und Strukturversagen zu erkennen oder vorherzusagen. Da bei einem Erm\u00fcdungstest in vollem Umfang Daten mit einer Geschwindigkeit von bis zu 10 MB\/s erzeugt werden k\u00f6nnen, die sich nach Abschluss auf Hunderte von Terabyte summieren, sind Datenverarbeitung und -analyse zu einem gro\u00dfen Engpass geworden.<\/p>\n\n

Um die enormen Datenmengen zu erfassen, zu analysieren, zu speichern und f\u00fcr Anwendungen verf\u00fcgbar zu machen, setzte Gantner auf eine Kombination aus Apache Kafka (Daten-Streaming) und CrateDB (verteilte NoSQL-Datenbank f\u00fcr IoT\/Industrieanwendungen). CrateDB wird f\u00fcr die Echtzeit-Hot-Storage und Kafka f\u00fcr die kosteng\u00fcnstige, dokumentenbasierte Speicherung verwendet.<\/p>\n\n

“Nach umfangreichen Recherchen und Vergleichen haben wir uns bei der Gestaltung des Daten-Backends f\u00fcr die Kombination von Apache Kafka und CrateDB entschieden”, erkl\u00e4rt J\u00fcrgen Sutterl\u00fcti, Head of Cloud and Data Analytics bei Gantner Instruments. “Sie sind praktisch der Motor, um den das gesamte Konzept aufgebaut ist.<\/p>\n\n

Neue Stromverarbeitungsplattform<\/h2>\n\n
\n

Apache Kafka ist ein Nachrichtensystem, das es erm\u00f6glicht, die von Instrumenten empfangenen Daten in eine Warteschlange zu stellen und f\u00fcr nachfolgende Systeme hochverf\u00fcgbar zu machen. Kafka schaut sich jeden einzelnen empfangenen Wert an und analysiert ihn f\u00fcr aktuelle Ma\u00dfnahmen, “Stream Processing”. Um die enormen Datenmengen zu erfassen, zu speichern und f\u00fcr Folgesysteme zug\u00e4nglich zu machen, bedarf es jedoch einer Datenbank, die eine entsprechende Leistungsf\u00e4higkeit und Schnittstellen bietet, die einen schnellen und komfortablen Zugriff erm\u00f6glichen.<\/p>\n\n\n\n

CrateDB ist eine neuartige verteilte SQL-Datenbank, die die Handhabung von Zeitreihenanalysen verbessert. Die Verwendung von SQL als Abfragesprache vereinfacht die Anwendung und Integration, und die NoSQL-Basistechnologie erm\u00f6glicht die Verarbeitung von IoT-Daten in einer Vielzahl von Formaten. Die CrateDB kann Hunderte von Terabytes an Daten speichern und garantiert dank der Shared-Nothing-Architektur innerhalb von Server-Clustern Echtzeitverf\u00fcgbarkeit ohne Datenverlust oder Ausfallzeiten.<\/p>\n\n\n\n

“CrateDB ist extrem schnell und hoch skalierbar”, sagt Sutterl\u00fcti. “Deshalb nutzen wir die Datenbank, um alle aggregierten Messdaten zu speichern und darauf zuzugreifen. Die Arbeit mit CrateDB zeigt das Potenzial, das sich aus der Kombination von Edge-Computing, Big-Data-Verarbeitung und maschinellem Lernen ergeben kann.”<\/p>\n<\/div>

\"Neue<\/figure><\/div>\n\n

Konnektivit\u00e4t<\/h2>\n\n

Immer mehr Pr\u00fcflabore verwenden spezielle Steuerungs-, \u00dcberwachungs- und Datenerfassungssysteme. Beispiele aus der Praxis haben gezeigt, dass die fehlende Integration zwischen diesen Systemen immer noch zu einer sp\u00e4ten Erkennung von Struktur- oder Systemanomalien f\u00fchrt. Einer der Gr\u00fcnde daf\u00fcr ist, dass Multi-Source- und\/oder Metadaten w\u00e4hrend des Tests nicht ohne Weiteres verf\u00fcgbar sind. Die Messdaten k\u00f6nnen daher erst am Ende des Testlaufs (oder in vordefinierten Intervallen) vollst\u00e4ndig ausgewertet werden.<\/p>\n\n

Die Kafka-Stream-Processing-Engine verf\u00fcgt \u00fcber einen umfangreichen Satz von APIs zur Integration von Datenstr\u00f6men von Drittanbietern, z. B. von einem Kontrollsystem. Die prim\u00e4ren Messdaten k\u00f6nnen mit Kontroll- und Simulationsdaten angereichert werden. Die Bereitstellung einer offenen Softwarearchitektur, die eine Vielzahl von Publishsubscribe-basierten Protokollen (wie MQTT und DDS) unterst\u00fctzt, erm\u00f6glicht die nahtlose Integration mit anderen \u00dcberwachungs-, Analyse- und Berichtstools. F\u00fcr Pr\u00fcflabore, die derzeit automatisierte Pr\u00fcfsysteme unterhalten, bietet die Anwendungsprogrammierschnittstelle (API) eine einfache M\u00f6glichkeit zur Integration bestehender Umgebungen. Im Gegenzug sind sie in der Lage, die automatischen Aufzeichnungs-, Datenspeicher-, Plotting- und Konfigurationsmanagementfunktionen zu nutzen. Benutzer k\u00f6nnen auch programmatisch auf Daten zugreifen, die im Daten-Backend gespeichert sind, um sie f\u00fcr benutzerdefinierte Grafiken, Analysen und Berichterstellung zu verwenden.<\/p>\n\n

Die Philosophie von Gantner besteht darin, den Kunden offene Schnittstellen zu bieten, an denen sie Daten speichern und an jeden beliebigen Ort senden k\u00f6nnen. Sutterl\u00fcti: “Unsere Kunden sch\u00e4tzen diese Option sehr, denn sie entlastet sie vom Umgang mit Daten und deren Speicherung. Stattdessen haben sie einfachen Zugang zu APIs, und alle bestehenden Funktionen, an die sie gew\u00f6hnt sind, sind weiterhin verf\u00fcgbar.”<\/p>\n\n

Schnelle Analyse<\/h2>\n\n
\"Schnelle<\/figure>
\n

Die Analyse oder Fehlererkennung ist je nach Anwendung unterschiedlich. Gemeinsame Software- und Benutzeroberfl\u00e4chen f\u00fcr die Verwaltung, Visualisierung, Berichterstellung oder die Definition spezieller Ereignisregeln vereinfachen den Zugang und die Integration. Dieser Ansatz minimiert die Investitionskosten f\u00fcr die IT- und Speicherinfrastruktur im Testlabor, w\u00e4hrend gleichzeitig die notwendige Rechenleistung f\u00fcr testkritische Datenanalyseaufgaben erhalten bleibt. Um beispielsweise zeitliche und r\u00e4umliche Analysen von Flugzeugtriebwerken durchzuf\u00fchren oder die mechanische Reaktion einer Flugzeugstrukturkomponente besser zu verstehen, k\u00f6nnen Ingenieure mit Hilfe leistungsstarker Abfragefunktionen gro\u00dfe Mengen an Sensordaten w\u00e4hrend des Fluges analysieren. <\/p>\n<\/div><\/div>\n\n

Die Trend\u00fcberwachung \u00fcber die gesamte Lebensdauer der Pr\u00fcfung zeigt schnell jede signifikante \u00c4nderung der Reaktion des Pr\u00fcfgegenstands zwischen den sich wiederholenden Pr\u00fcfbedingungen an. Mit einer anpassungsf\u00e4higen und skalierbaren Daten-Backend-L\u00f6sung ist Gantner Instruments in der Lage, eine Plattform bereitzustellen, die es Testlaboren erm\u00f6glicht, beliebige physikalische Daten in Echtzeit und unabh\u00e4ngig vom Datenvolumen zu erfassen, zu \u00fcberwachen, zu analysieren und darauf zu reagieren und so Daten in Erkenntnisse zu verwandeln.<\/p>\n\n

Erleben Sie die neue Plattform f\u00fcr moderne und robuste Messaufbauten<\/h3>\n\n

Die GI.bench vereint schnellere Versuchsaufbauten, Projektkonfiguration und -abwicklung sowie die Visualisierung von Datenstr\u00f6men in einer digitalen Werkbank. Sie erm\u00f6glicht es Ihnen, Ihre Mess- und Pr\u00fcfaufgaben im laufenden Betrieb zu konfigurieren, auszuf\u00fchren und zu analysieren. Greifen Sie \u00fcberall auf Live- und historische Messdaten zu. <\/p>\n\n\"GI.bench<\/a><\/span>