How to transform the data avalanche into insight

Due to the conflicting trends of increasing complexity of structures and systems and drastically reduced development times, test labs are under immense pressure to produce test results quicker in order to save costs and reduced development times despite acquiring more data from more sensors. Test engineers are continuously looking at ways to reduce test time and risk. To work faster and more efficiently, these engineers must be able to monitor and respond to test data in realtime regardless of the data volume.

根据测试类型、持续时间和测量频率的不同，会产生海量的数据。面临的挑战不仅在于采集数据，还在于存储和保存海量数据，并具备访问这些数据以进行快速、持续的在线分析的能力。 海量的结构化与非结构化数据都需要更强的处理能力、更大的存储空间以及可靠的数据基础设施。当所有这些要素共同构建成一个可扩展的数据后端时，便能显著缩短产品上市时间、降低成本，并打造出更优质的产品。

自适应和可扩展的数据后端

一个自适应且可扩展的数据后端，为从仪器采集数据流、存储配置以及执行分析提供了可扩展的存储和计算平台。

为了应对不断变化的需求、系统配置、参数扩展以及多变的采样率，将“热数据”与“冷数据”进行分离是最佳选择。原始数据——即访问频率较低、仅用于审计或测试后处理的数据（“冷数据”）——将存储在扩展效率极高的分布式流处理平台中。 如果需要同时存储、处理并从每秒数十万个样本和数百个通道中计算出新变量，这种分布式流式架构将充分展现其优势与强大性能。

所谓的“热数据”（即必须立即访问以供分析的测量数据）存储在 NoSQL 时间序列数据库中。该数据库将数据安全地存储在冗余且具有容错能力的集群中。 所有测量数据均会自动备份。灵活的数据聚合功能确保测量数据从流式处理平台到数据库的处理过程连续不中断，并通过预定义的数据集，便于对测试指标和关键绩效指标（如平均值、标准差以及最小值/最大值）进行数据处理。 不过，如果需要针对特定测试事件进行详细分析，可以对同一数据进行回放并采用不同的聚合方式。这种方法在保持测试关键数据分析任务所需计算性能的同时，最大限度地降低了测试实验室在 IT 和存储基础设施方面的投资及运营成本。

飞机发动机测试是一个典型的应用场景，在该场景中，可扩展的数据后端能带来显著优势。发动机测试会产生大量数据，尤其是在需要记录发动机瞬态响应时。数据采样率可从每秒10个样本到每秒100,000个样本不等。 面临的挑战在于存储海量的传感器数据，确保其全天候可用，并支持快速数据分析。另一个体现可扩展数据后端优势的例子是大型部件或全尺寸结构的疲劳测试。 典型的疲劳测试计划通常分为多个飞行阶段。每个飞行阶段结束时，测试都会暂停，并对试件进行裂纹检查。这些人工检查既耗时，且检查间隔时间相对较长。结构异常可能被发现得太晚，从而导致服役中的飞机需要进行改装。

“The challenge ahead is not only to acquire the data, but to store and preserve large volumes of data.”

对试样进行基于状态的检测，而非基于周期的检测，是缩短疲劳试验总时长并快速发现异常情况的一种潜在解决方案。 其中一个影响是，需要更多传感器来监测试样的行为，并检测或预测结构失效。由于全尺度疲劳试验的数据采集速率可达10MB/s，试验完成后数据总量可达数百太字节，因此数据处理和分析已成为一个主要瓶颈。

In order to capture, analyse, and store the rather enormous volume of data, and to ensure its available for applications, Gantner turned to a combination of Apache Kafka (data streaming) and CrateDB (distributed NoSQL database built for IoT/industrial use cases). CrateDB is used for real-time hot storage and Kafka for cost-effective, document-based storage.

“经过广泛的研究和比较，我们决定采用 Apache Kafka 与 CrateDB 的组合来设计数据后端，”Gantner Instruments 云与数据分析负责人尤尔根·苏特吕蒂（Jürgen Sutterlüti）解释道，“它们几乎就是整个方案的核心引擎。”

New stream processing platform

Apache Kafka 是一个消息传递系统，它能够将从仪器接收到的数据放入队列，并以高可用性的方式提供给后续系统。Kafka 会检查收到的每一个数值，并对其进行分析以获取当前测量值，这就是所谓的“流处理”。 然而，为了捕获、存储海量数据并使其可供后续系统访问，需要一个能够提供适当性能并具备快速便捷访问接口的数据库。

The CrateDB is a new kind of distributed SQL database that improves the handling of time series analysis. The use of SQL as a query language simplifies application and integration, and NoSQL base technology allows you to process IoT data in a variety of formats. The CrateDB can hold hundreds of terabytes of data and, thanks to the shared-nothing architecture within server clusters, guarantees real-time availability without data loss or downtime.

“CrateDB 速度极快且可扩展性极强，”萨特吕蒂表示。“正因如此，我们才使用该数据库来存储和访问所有聚合的测量数据。与 CrateDB 的合作充分展现了边缘计算、大数据处理和机器学习相结合所能带来的潜力。”

连接性

Increasingly more test labs use specialised control, monitoring and data acquisition systems. Examples in the field have shown that the lack of integration between these systems still leads to late detection of structural or system anomalies. One of the reasons is that multi-source and/or metadata is not readily available during the test. Measurement data can therefore not be fully analyzed until the end of the test run (or at predefined intervals).

Kafka 流处理引擎提供了一套功能全面的 API，用于集成第三方数据流（例如来自 Controller 的数据流）。可以通过控制和仿真数据对主要测量数据进行增强。 该引擎提供了一个开放的软件架构，支持多种基于发布-订阅的协议（如 MQTT 和 DDS），可与其他监控、分析和报告工具无缝集成。对于目前维护自动化测试系统的测试实验室而言，应用程序接口（API）提供了一种将现有环境集成的简便方式。 进而，这些实验室能够利用自动记录、数据存储、图表绘制和配置管理等功能。用户还可以通过编程方式访问存储在数据后端中的数据，用于自定义图形、分析和报表生成应用程序。

Gantner 的理念是为客户提供开放的接口，让他们能够存储数据并将数据发送至任何所需位置。Sutterlüti 表示：“我们的客户非常重视这一选项，因为它让他们无需再操心数据的处理和存储问题。 相反，他们可以轻松访问API，而且所有他们习惯的现有功能依然可用。”

快速分析

分析或故障检测因应用而异。用于管理、可视化、报告或定义专用事件规则的通用软件和用户界面，简化了访问和集成流程。这种方法在保持测试关键数据分析任务所需计算性能的同时，最大限度地降低了测试实验室在 IT 和存储基础设施方面的投资成本。 例如，为了对飞机发动机进行时空分析，或更好地理解飞机结构部件的机械响应，强大的查询功能使工程师能够实时分析海量的传感器数据。

在整个测试周期内对趋势进行监测，可迅速提示测试对象在重复测试条件下响应的任何显著变化。 凭借自适应且可扩展的数据后端解决方案，Gantner Instruments 能够 提供一个平台，使测试实验室能够实时掌握、监测、分析并响应任何物理数据（无论数据量大小），从而将数据转化为洞察。

体验这款专为现代、可靠的测量系统打造的新平台

GI.bench软件平台将更快捷的测试设置、项目配置与管理以及数据流可视化功能整合到一个数字工作台中。它使您能够即时配置、执行和分析测量与测试任务。无论身处何地，均可访问实时和历史测量数据。