物联网和大数据，两个看似毫不相关的技术，却可以通过数据紧密联系在一起。
物联网是一个完整的概念，它不仅包括远程传感器数据的采集、传输、存储和显示，还包括对采集的传感器历史数据的分析，以及基于分析结果的决策、反馈和控制行动。与人的传统认知方式相比，物联网相当于增强了人的“五官”的识别能力，使人能够获得很多原本无法直接获得的信息。基于物联网的数据分析相当于增强了人的“大脑”的感知能力，使人摆脱传统思维的局限，实现更加多维度、全面、实时的认知和判断。
一般来说，大数据是指批量数据的计算。最近10年，包括Hadoop、Spark在内的一系列新技术相继被开发出来，可以高效、实时地处理海量数据。在此基础上，将原有的一些处理小数据集的数据挖掘技术与大数据相结合，可以实现对很多业务系统数据的分析，比如对不同标签的群体进行分类和画像，进行精准营销。随着实时性的提高，近年来，流式计算和分析也被提到了一个更高的层次，用于处理带有时间标签的数据，这些数据需要一直进行分析和处理，比如物联网数据或者日志数据。
可见，物联网和大数据这两个看似毫不相关的技术，通过数据是可以紧密联系在一起的。
区分物联网、物联网和工业大数据:需要追根溯源
在进一步阐述物联网与大数据分析的关系之前，有必要明确物联网、工业物联网、工业大数据的概念。
●区分传统物联网和工业物联网
传统的物联网主要针对消费者和智慧城市等。通过增加多个分散的传感器，采集和传输实时数据，建立实时监控、显示、报警和历史数据查询的能力。物联网(IoT)主要是指通过采集现有工业设备的控制系统数据，进行监控和报警，并通过深入的数据分析，提高设备可靠性，降低异常风险，提高生产运营效率的方式。
物联网的传统数据分析和互联网上的流数据分析差别不大。通过对单个指标的处理，生成相应时间窗内的平均值和极值，并进行批量计算和显示。
●区分工业物联网和工业大数据
在国外，很多厂商和媒体并没有工业大数据的概念，而是将其并入工业物联网的范畴。在中国，它们被视为两个不同的范畴，与生产和供应链系统一起融入产业互联网的概念。所以我们可以看到国外的分析机构，包括Gartner Consulting，并不是专门专注于工业大数据或者工业互联网的分类，而是对工业物联网有非常细致的分析。
传统工业不是没有数据处理，而是数据采集、数据处理、数据分析、反馈分散在不同的系统中，无法处理海量的工业“大”数据，无法保证实时性。在工业企业中，很多数据分析师被迫手动从不同的控制系统中导出一些数据文件，手动进行交叉链接和标记，并编写相应的Matlab程序实现统计分析和建模，然后提取一些现场数据进行验证。条件好的企业也会请一些外部合作伙伴开发成应用。这种处理和分析的效率很低，但却是普遍现象。
工业物联网和互联网大数据:分析上的巨大差异
物联网的数据分析不同于传统的互联网大数据分析。
●不同的数据属性
大量的数据
工业数据的“量”需要从数据维度、采样频率、时间跨度等方面来考虑。
传统的物联网，由于大多是相对独立的传感器，每个传感器上的数据点数量往往是个位数，所以数据维度很小。对于工业物联网来说，复杂的生产是一个相互关联的过程，每个过程都是一个多维度的数据整合过程。这里所说的数据维度包括生产过程中的各种设备特性、外部工况、参数、材料、工艺配方等相关因素。这个维度的数量级往往非常大。在很多高端的自动化生产过程中，数据维度已经达到了数千万，任何一个过程中任何一个变量的变化都可能对最终的生产结果产生蝴蝶效应。
传统物联网的数据收集间隔通常是几秒或几分钟，相对固定。而工业设备数据的采样频率跨度很大，一台设备的不同指标可以相差上千倍。对于设备故障诊断中常用的电流、振动加速度等传感器指标，采样频率往往在10 kHz以上，而一些状态变化往往需要几秒甚至几十秒才能采样一次。
长期的数据保存对于不同状态下积累的特征判断很有帮助。而传统的物联网对数据长期保存的需求并不明显，也没有太多的“状态”需求。工业物联网对基于状态的数据分析有着强烈的需求。首先，在传统工业领域，设备状态、控制阈值、关键参数的设定往往是由厂商或运营商的经验值来设定和调整的。这个数值是否正确，需要长期的数据验证。其次，工业设备的电流、功率、扭矩等指标，在不同的工作模式、工况和故障状态下，往往具有鲜明的特点。如果能够保留这些特征，通过机器学习训练特征识别模型，将有助于实现准确的状态判断、异常检测和故障诊断。此外，通过不断积累与同一标签相似的数据样本，有助于增强识别的准确性。特别是一些可靠性高的关键设备，由于故障成本高，更有必要保留异常或故障的特征，通过部件、子系统、设备之间的特征组合分析，进一步提高可靠性。
强大的实时性能
普遍认为工业数据的实时性会很强。其实这里指的是工业控制的实时性能，而不是工业数据分析的实时性能。
传统的工业数据分析往往是在控制系统或软件系统中截取一段数据，保存到文件中，由分析师编写一段代码和模型，在实验环境中进行测试和验证，然后开发相应的控制逻辑或应用程序，通过实时接收对开发的模型进行评估，并在运行过程中不断调整模型的参数。这个过程是非常痛苦的，不仅因为数据源和分析脱节，还因为模型开发过程中需要的实时数据的验证在现有环境下无法实现。
理想的工业数据分析应该是一个高效的实时过程。它可以从实时工业数据中截取有效的数据样本，基于不同的开发语言和模型框架开发特定的算法和模型，基于实时采集的数据进行验证，然后将验证结果与真实的实时数据流相结合，实现实时判断。这样才能形成针对特定场景的智能分析和控制。
数据质量差
工业数据质量差是工业数据的典型特征。由于行业的专业性特点，大型设备往往是来自多个不同厂家的子系统的集成。而主机厂往往不知道各子系统的工作原理，没有形成一套完整的跨子系统控制逻辑和数据集成机制。所以他们只能选择一些关键的控制信号来实现既定的控制逻辑，并不关心各个子系统的工作原理，包括各种有助于实现可靠性、效率甚至质量分析的非控制指标。
工业设备厂商虽然宣称可以实现各项指标，但只能保证关键控制指标的完整性，不能保证子系统关键指标的准确性和可靠性。由于没有良好的数据集成机制，主机厂往往无法识别不同子系统的工作状态，为后期不同工作状态的数据分析造成了巨大的障碍。此外，从不同子系统的集成来看，可能存在时间戳不一致、数据范围不正确、数据标签错误等常见错误。即使出现问题，主机厂也无法解释子系统的指标含义。同时，由于野外环境条件恶劣，传感器数据往往会长时间失效或不准确。这些数据质量问题给后期的数据分析造成了巨大的障碍，在分析之前需要做大量的清理和处理工作。
●不同的数据分析方法
提到大数据分析，很多人想到的是对海量数据进行聚类、分类和挖掘，实现精准营销和用户画像。但这些互联网或业务系统的数据都有一些明显的假设，即数据量大，数据标签清晰，标准化场景多，对分析的准确性要求不高。通过一系列的分类和挖掘，可以找到不同样本之间的共同特征，并根据不同属性相似个体的训练结果，推测出属性相同或相似个体的特征。而对于工业数据分析来说，这些假设基本不存在，数据分析面临更多的挑战。
首先是小样本。工业异常现象往往很少，或者在单个设备上发生的概率很低，导致无法根据采集到的异常数据的特征，使用常规的大数据和机器学习方法训练出稳定的故障模型。
其次是过度拟合。根据大量相关因素，机器学习在特定数据集中训练出来的模型，即使经过大量测试数据的验证，也表现出完美的拟合特性。但在现实环境中，由于数据和工作状态的多变性，往往很难获得一个长期稳定的判断结果，即出现“过拟合”。
第三，很难准确清晰地标注。即使工业中有一些特性可以提炼，但这些特性往往与不同的工作条件或模式密切相关。如果没有办法区分异常特征的标注条件，就很难实现有效的数据过滤和分析。
第四是场景碎片化。工业场景是碎片化的，很难有通用的模式。即使有一些像电机、泵之类的故障模型，有振动分析、统计过程控制之类的通用分析方法，也很难保证在不同类型的设备上，甚至在同一类型的不同个体上统一稳定的运行。
这些挑战都将使得工业大数据分析不可能完全采用互联网大数据的分析方法，而需要充分结合工作机制，实现复合建模和判断。
应用场景融入行业三层:发挥巨大作用
众所周知，互联网大数据的应用场景包括基于用户画像的精准营销、海量结构化决策支持等等。那么，工业物联网的数据分析可以应用在哪些场景中呢？
我们认为工业物联网的大数据分析可以从工业三个层面发挥巨大作用。
●设备层
企业可以通过读取智能工业产品的传感器或控制系统的各种实时参数，构建可视化的远程监控，并基于采集到的历史数据，构建部件、子系统乃至整个设备的分层健康指标体系，利用人工智能实现趋势预测。基于预测结果，工业企业可以优化维修策略和备件管理策略，减少和避免非计划停机造成的损失。
例如，集云科技为某石油机械制造公司提供了一套钻井设备预测维修与故障诊断系统，不仅实时采集钻机不同关键子系统如发电机、泥浆泵、绞车、顶驱等的各种关键指标数据，还根据历史数据的发展趋势对关键部件的性能进行评估，并根据部件性能的预测结果调整和优化维修策略。该系统还可以根据对钻机实时状态的分析，对钻井效率进行评估和优化，有效提高钻井的投入产出比。
●过程层
企业可以通过数字化手段将原料、设备、工艺配方、工艺要求等生产阶段的各种要素整合成一个紧密协调的生产过程，按照既定规则自动完成不同条件组合下的作业，从而实现自动化生产过程；同时记录生产过程中的各种数据，为后续的分析和优化提供依据。通过采集生产线上各种生产设备的实时运行数据，实现整个生产过程的可视化监控，并通过经验或机器学习建立关键设备参数和检验指标的监控策略，及时处理和调整违反策略的异常情况，实现生产过程的稳定和持续优化。
例如，集云科技为某电子玻璃生产线搭建的在线质量监测系统，充分采集冷端和热端设备产生的数据，通过机器学习获取生产过程中关键指标的最佳规格，设定相应的监测和报警策略，实现数万个数据采集点中特定质量异常的诊断和分析。
●管理水平
企业可以将流程层生成的各类业务技术数据与业务系统生成或填写的各类信息技术数据结合起来，构建统一的数据标准。在此基础上，通过一定的计算和分析，它们可以在业务层面产生精准的分析，为企业的安全生产、业务效率和决策支持提供支持，并逐步延伸到企业的外部环境，提供开放的数据生态，从而形成更强的竞争力。
例如，集云科技为某省能源集团提供了安全生产智能管控解决方案。它从数十种不同类型的实时数据库中提取生产的实时数据，结合从第三方业务系统中提取的业务数据，构建了多维度的统一数据标准，开发了包括生产运行监控、安全管理、环保管理、质量管理、能源管理、业务分析等一系列行业应用。基于IT和OT集成的数据标准。
一个高效的工业企业，按照我们的理解，必须将OT和IT的数据整合到一个大平台上，制定严格的数据标准，通过不同的专业数据分析，不断开发不同的新形态应用，以满足企业全方位、精准、高效的运营需求。
总之，对于物联网来说，无论是通用物联网还是工业物联网，如果不结合专业精细化的数据分析，都无法支撑企业未来的发展战略。选择合适的工业物联网平台，将大大加快企业的数字化进程，向着智能化的道路快速迈进。
史培新，博士，集云科技创始人兼总裁。
作者:史培新
本文来自张江科技评论。
