博客
一、亟待解决的五大难题
1、如何解码原始二进制日志文件?
虹科CANedge数据记录仪以MDF(*.MF4)格式记录原始CAN数据,包括带有时间戳的“CAN ID”和“数据字节”。为了使这些数据对用户可读,需要通过软件/API工具和CAN(DBC)数据库文件进行解码。
2、如何实现跨TB数据的低成本可视化?
一台虹科CANedge物联网设备每月可能产生超过50GB的数据,甚至累积至TB级别,而将这些数据存储在基于云的时间序列数据库中的成本过高。同时,数据查询的速度也应相当快,以便用户能够有效地处理数据。
3、如何保留原始报文时间戳?
CAN网络中的每个报文都有其独特的时间光栅,集成方案必须保留这些原始时间戳,以便用户能够查看从秒到月的数据。
4、如何让用户自主部署?
虹科CSS不提供服务器或服务托管,而是让用户自行设置。这要求部署过程简单,以适应对数据敏感性有严格要求的用户。
5、如何保持不可知性?
虹科CANedge设备支持多种数据收集方式,例如,用户可使用👉 虹科CANedge1(了解详情)将数据记录到SD卡中,以便离线使用,也可以使用👉 虹科CANedge2/CANedge3(了解详情)通过 WiFi/LTE(4G)将数据收集到S3服务器中。因此,集成方案需要能够适应这些不同的后端存储选项。
二、虹科Grafana-Athena集成解决方案
为了应对上述集成挑战,虹科CSS推出了“Grafana-Athena”仪表板集成方案,提供了一种高效且用户友好的数据可视化方案。
集成方案的设置步骤
■ 数据上传: 虹科CANedge记录仪将CAN/LIN数据上传至AWS S3的“input bucket”。
■ 触发Lambda函数: 日志文件上传后,自动触发一个Lambda函数。
■ 数据解码: Lambda函数使用DBC文件将原始数据解码为Parquet格式。
■ 数据存储: 解码后的Parquet文件被写入AWS S3的“output bucket”。
■ 数据可视化: Grafana通过亚马逊Athena插件,将“data lake”中的数据进行可视化。
■ 快速部署: 整个设置可以在15分钟内自动部署完成,无需任何编码工作。
虹科Grafana-Athena的部署过程完全由用户自主完成,即使是没有Grafana或AWS使用经验的用户也能轻松上手。虹科CSS为此提供了即插即用的AWS CloudFormation堆栈,以及详细的部署指导。
用户只需将DBC文件和Lambda函数压缩包上传至S3 input bucket,然后使用CloudFormation堆栈模板部署Lambda函数、S3 input bucket、Athena和Glue。部署完成后,用户将获得必要的凭据,以便在Grafana云数据源设置中验证Athena的凭证。无需担心Parquet数据湖的构建细节,因为这一切都由虹科CSS Electronics预制的AWS Lambda函数自动完成,同时确保数据湖按日期进行最佳分区。
三、五大显著优势
1、高性能与低成本查询
传统的Grafana-InfluxDB集成在处理大规模数据时成本较高。相比之下,虹科Grafana-Athena集成通过AWS S3存储和Athena的无服务器查询,显著降低了成本,同时保持了高效的查询性能。
2、无需编码,15分钟内完成部署
利用AWS CloudFormation模板和预配置的Lambda函数,用户可以在15分钟内完成部署,无需任何编程知识,大大简化了部署流程。
3、无缝跨时间尺度分析
用户可以轻松地在Grafana中进行跨年或跨毫秒的数据查询和分析,得益于data lake中保留的原始时间戳和Grafana的即时重新采样功能。
4、多功能数据湖与SQL接口
基于S3的Parquet data lake不仅支持Grafana可视化,还可以直接用于Python/Matlab查询和Excel报告,提供了一个全面的数据分析平台。
5、灵活的部署选项
本文主要探讨了Amazon Athena集成方案,这是由于虹科CSS的多数用户已经采用AWS S3来存储CANedge2/CANedge3设备生成的数据。
四、应用案例:原型车队数据可视化
一位汽车OEM的工程师负责监控50辆原型车的CAN数据,目的是进行深入的后期诊断分析。通过部署虹科CANedge3数据记录仪,工程师能够自动收集关键的车辆运行数据。
数据收集与处理
■ 自动化数据上传: 利用3G/4G蜂窝网络,虹科CANedge3设备将二进制日志文件自动上传至公司专用的AWS S3服务器。
■ 数据处理: 存储在S3 input bucket中的日志文件触发一个Lambda函数,该函数使用相应的DBC文件自动解码数据,并将解码后的数据转换为Parquet格式,存储在另一个S3 output bucket中。
数据可视化与分析
■ 定制Grafana面板: 用户现在可以利用定制的Grafana仪表板,通过Athena插件直接查询Parquet data lake中的数据。
■ 多维度分析: 这种设置为工程师提供了强大的工具,不仅可以进行实时监控,还可以进行深入的诊断、基准测试和统计分析,从而优化车辆性能和设计。
通过这种集成方案,汽车OEM能够实现数据的高效管理和分析,加速研发流程,提高原型车测试的质量和效率。
结语
采用Grafana-Athena集成方案,虹科成功为用户实现了显著的成本节约,成本降低超过95%。这一集成不仅优化了数据管理和可视化流程,还为其他企业在处理大规模数据时提供了一种经济高效的Grafana面板可视化策略。更多相关信息,欢迎咨询虹科工作人员。
了解更多虹科技术资讯,欢迎前往【虹科智能互联】官方网站:https://www.intelnect.com/category/technical-article/
联系虹科:18138758797
全文目录
近期文章
- 以太网分析仪netANALYZER Scope软件介绍
- 虹科干货 | 无需外部Redbox即可无缝合并PRP和HSR网络实现时间同步
- 虹科干货 | 解决连接到IEEE 1588高可用性网络的SCADA系统的NTP同步参考问题
- 虹科案例 | 使用PRP协议解决广播行业中实现高可用性和亚微秒同步的难题
- 虹科方案|从CAN到以太网:车载网络数据采集方案
- 虹科干货 | 虹科干货 | Linux终端设备的时间敏感网络协议实现
- 虹科案例 | 使用虹科CAN中继器/路由器来让医护通讯系统更稳定可靠
- 虹科案例 | 虹科CAN中继器在双馈式风力发电机中的应用
- 虹科案例 | 有效抗干扰!虹科CAN中继器/路由器使BESS系统更稳定可靠
- 虹科应用|探索PCAN卡与医疗机器人的革命性结合
搜索内容
订阅邮件
想要获取虹科最新资讯?欢迎订阅我们的邮件简报!