大数据平台的作用

核心提示物联网是一个很宽泛的概念,是指各种设备、机器都经过互联网连接起来,车联网、工业互联网等都属于物联网范畴。毫无疑问,咱们需求一个物联网大数据渠道,用来处理这些联网设备发生的海量数据。那么,大数据渠道具有哪些特色呢 1. 高效分布式有必要是高效

物联网是一个非常宽泛的概念,指的是各种设备和机器通过互联网连接起来。车联网和工业互联网都属于物联网的范畴。毫无疑问,我们需要一个物联网大数据通道来处理这些联网设备产生的海量数据。那么,大数据渠道有什么特点呢?1.有效分配

需要有一个高效的分布式系统。物联网中有海量的数据。仅在中国,就有超过5亿个智能电表。每个电表每15分钟采集一次数据,总有一天全国智能电表会记录500多亿条记录。这么大的数据量,没有服务器能处理,所以处理系统必须是分布式的,横向扩展的。

2.实时处理

需要的是一个实时处理系统。互联网大数据处理,大家都知道的场景是用户画像、推荐系统、舆情分析等。这些场景不需要任何实时性能,并且可以批量处理。但关于物联网场景,需要根据收集到的数据做出实时预警和解决方案,延迟要控制在秒内。

3.高可靠性

操作员级别的高可靠性服务。物联网系统通常与生产和管理系统相连。如果数据处理系统出现故障,将直接导致停产、经济损失,以及无法为最终客户提供服务。比如智能电表,如果系统出了问题,直接结果就是千家万户无法正常用电。

4.高效缓存

需要高效的缓存功能。在大多数场景下,需要快速获取设备的当前状态或其他信息,用于报警、大屏幕显示或其他用途。系统需要提供一种高效的机制,让用户可以获得满足过滤条件的全部或部分设备的最新状态。

5.实时流量核算

实时需求流会计。各种实时预警或猜测,现在已经不是简单的基于某个阈值,而是通过一个或多个设备产生的数据流的实时聚合来计算需求,不仅仅是按照一个时间点,而是按照一个时间窗口。不仅如此,核算要求也是适当而杂乱的,因场景而异。应该允许用户定义自己的会计功能。

6.数据订阅

支持需求数据的订阅。相对于一般的大数据渠道,同一组数据往往需要大量的使用量,所以系统要提供订阅功能。只要有新的数据更新,就要实时提醒使用。而且这个订阅也要个性化,允许设置过滤条件,比如只订阅一个物理量五分钟的平均值。

 
友情链接
鄂ICP备19019357号-22