箩筐技术分享:深度解析时空大数据产业及技术框架

核心提示时空大数据概念1、时空大数据的概念时空数据是兼具时间和空间属性的数据,包含了时间、空间、专题属性等三维信息,在现实生活中,80%的数据均直接或间接的具备时空属性。当时空数据的数据量具备一定规模时,即可定义为时空大数据。2、时空大数据的基础特
时空大数据概念

1.Time 空大数据的概念

Time 空数据是具有时间和空属性的数据,包括时间、空和专题属性等三维信息。现实生活中,80%的数据都直接或间接具有time 空属性。当空数据的数据量达到一定规模时,可以定义为空大数据。

2.时间空大数据的基本特征

Time 空大数据呈现海量、多源、异构、动态的基本特征。所有数据都是在空之间的特定时间和后台生成的,直接或间接标注了时间和位置。因此,广义的大数据在本质上可以看作是与time 空大数据相同的属性,是现实地理世界中空与空之间的关系元素中具有数量、质量和时间变化特征的数据集的“总和”。

因此,时间空大数据具有时间、空和属性三个维度的信息特征,同时也具有与大数据相同的四个特征:数据规模海量、数据流转快、数据类型多样、价值密度低。

3.大数据的时间空价值

Time 空数据日益成为现代治理能力、经济运行机制、社会生活方式和各行业发展的核心驱动力。

利用数据挖掘技术,可以在统一的时间空基准下,从事物的“空”、“时间”和“动态”三个维度中发现规律,从海量大数据中挖掘有用信息,探索数据之间的潜在关系,客观分析隐藏的容易被忽视的因素,提供给决策者/[/k0/

4.Time 空类型的大数据

目前,时间空大数据可分为时间和空之间的参考数据、卫星导航轨迹数据、大地测量/重磁测量数据、RS数据、GIS数据和空之间的媒体数据。

1.时间与空之间的基准数据:时间基准数据包括守时/授时/时间使用等系统提供的时间数据;空之间的基准包括大地基准、高程和深度基准、重力和磁力基准等。

2.卫星导航轨迹数据:通过北斗、GPS、GLONASS、伽利略等卫星导航系统获取用户的运动数据,可用于分析用户的位置、状态、交通场景、社交偏好等包括个人轨迹、群体轨迹、流量轨迹、信息流轨迹、物流轨迹、资金流轨迹等数据。

3.大地测量和重磁测量数据:包括大地控制数据、重力场数据、磁场数据等。

4.遥感影像数据:包括卫星遥感影像、航空空遥感影像、地面遥感影像、地下空和管道分布感知数据、水下声纳探测数据等。

5.地图数据:包括各种地图和图集数据,以数字形式描述的空之间的地理数据及其属性。

6.空之间的媒体数据:指位置特征在空之间并随时间变化的数字图形、图像、声音、视频、图像等媒体数据。

2、时空大数据产业现状

2015年9月,国务院印发《促进大数据发展行动计划》,系统部署大数据发展。数据已经成为国家的基础战略资源。2020年中国大数据市场规模将突破万亿,2025年有望增至48.6ZB。中国大数据产业正迎来发展的黄金时代。

Time 空大数据包含或重叠了卫星导航行业、测绘行业、地理信息技术行业、位置服务行业、遥感图像处理行业等子行业。可以分为广义时间空大数据和狭义时间空大数据。

广义的大数据产业由上游的数据采集、中游的数据处理、下游的信息服务和应用,以及贯穿整个产业链的硬件制造和软件开发组成。狭义的时间空大数据只是中游的数据存储和处理。When 空大数据产业链构成如图2所示。

上游基础支撑层:为time 空大数据产业提供硬件支撑,包括卫星导航设备、遥感测绘设备、测量载体制造、网络系统设备制造及服务业、数据存储设备制造、设施及服务商。

中游数据资源层和软件服务层是产业链的核心部分。从卫星导航、遥感测绘、物联网、互联网等渠道获取海量时间空大数据,通过数据传输、清洗、存储、分析、处理、应用等,为下游用户产生有价值的数据资产。这部分是整个产业链的增值重点和技术开发难点。

下游应用层:是大数据的消费者,指政府、厂商、公众等。具体可以包括位置服务提供商、地理公共信息服务提供商、物联网和智慧物流用户、政府智慧城市系统和政府大数据系统等。

随着应用场景的不断发现,时间空大数据的应用创新了很多商业模式,创造了可持续的社会和经济价值。

时空大数据的技术框架

技术框架

1.整体架构

Time 空大数据框架主要基于大数据技术、地理信息系统技术、卫星导航定位技术、卫星遥感技术、计算机和通信网络技术。面对海量、异构的time 空数据资源,进行数据挖掘、分析和服务应用处理,为多行业、多场景、多应用提供多维动态time 空信息服务。

考虑到产业链,Time 空大数据框架主要包括产业链上游的Time 空基础设施、产业链中间的Time 空大数据平台及平台支撑环境、产业链下游的Time 空大数据应用。其中,Time 空大数据平台是Time 空大数据框架的重要组成部分,主要汇聚time 空基础设施提供的海量Time 空数据资源;依托云计算环境中的计算资源、存储资源、网络资源和安全体系,形成空大数据中心;通过特征提取、模型匹配、特征关联、协同分析等技术挖掘时间空大数据价值及其隐含价值,进而实现数据的应用价值。

2.Time 空基础设施

时间空大数据框架的实现需要时间空基础设施的支持。PNT传感器是时间空基础设施的基石,是人们在众多信息中准确描述时间和空的关键因素。鉴于单一PNT传感器技术在安全性、可用性、连续性、可靠性等方面的不足,要建立时间空大数据体系,需要构建以北斗为核心,多机制PNT传感器互为补充和备份,多源时间空信息深度融合,具有稳健时间空的基础设施

根据应用场景,time 空基础架构可以分为以下三种。

空日,深空小时空基础设施。面对无线电信号弱、载波动态高、运行环境恶劣的复杂情况,以北斗为核心,利用惯性导航、脉冲星、VLBI和星图匹配技术,实现了PNT自适应深度融合定位方法和时间保持方法。

室内和地下基础设施空。室内和地下时间空基础设施主要有Wifi、iBeacon、IMU、摄像头、5G、激光雷达等。利用这些基础设施的融合定位技术,可以实现室内和井下定位的高精度、高连续性和高可靠性。

水上和水下空基础设施。水下和水下时间空基础设施包括北斗系统、声学定位系统、惯性导航系统、多波束测深声纳、浮标海底信标等。基于各传感器的优化组合方式,建立多传感器数据的time 空基准,实现不同场景、不同工作模式下传感器间的自适应优化,采用卡尔曼滤波技术实现多波束地形匹配、重力场匹配、地磁匹配和光学匹配。

以多场景下的time 空基础设施为基础,充分考虑不同time 空基础设施的特点、应用需求和约束,利用自适应信息融合技术,构建一个高保真的集天、地、海于一体的空 time 空基础设施体系。

3.时间空大数据平台

Time 空大数据平台主要由云计算环境、time 空大数据中心和服务资源池组成。

弹性云计算环境

云计算环境为time 空大数据集平台提供IT基础设施,统一管理和控制计算资源,形成资源池。云计算中心管理平台的调度系统统一协调,可以根据实际需要向云资源用户分配使用配额。云计算环境的架构如图5所示。

云计算环境可以智能提供的IT能力包括以下三点。

第一,计算能力。云中心管理平台可以在几分钟内完成用户定制的虚拟机实例的创建。同时,可以提供一组虚拟机实例,比如论坛和博客模板。

第二,存储容量。计算能力的存储不再受限于本地硬盘,云平台可以根据需求在几十秒内交付一个容量达数百千兆的块存储设备。交付容量取决于整个数据中心的共享容量。同时提供二级存储,存储用户的ISO和模板图片,提高静态模板的读取速度。

第三,网络能力。提供丰富的网络拓扑、简单模式、路由模式、内部网络模式,满足用户构建局域网的需求。路由模式提供网络服务,如DNS、NAT、DHCP、端口映射、VLAN和虚拟防火墙。

Time 空大数据中心

时间空大数据中心是时间空大数据平台的核心,主要完成海量时间空数据存储、大规模数据计算和快速数据分析。通过时间空大数据的时间空分布、关联分析、深度学习、机器学习等技术,深度挖掘隐藏数据背后的知识和规律,提升时间空大数据的价值。当空大数据中心整体架构如图6所示:

面对海量异构数据需求,time 空大数据平台根据数据的不同特性,提供多种访问方式和中间件,实现海量异构数据的访问和标准化,进行抽取、清洗、过滤等分层数据预处理。适用于所有类型和来源的业务流程数据。其中,按照数据来源可以分为FTP、WebService、数据库、消息等。根据数据源和数据应用的需求,使用不同的工具来访问数据。

丰富的服务资源库

服务池是升华时代空大数据平台数据价值的关键,是平台与用户之间的纽带。通过丰富的服务模块组合和配置,为第三方提供二次开发API接口,实现时间空数据服务的共享。

如图7所示,服务资源池包括数据引擎、知识引擎、业务引擎和GIS引擎,它们都通过接口调用向用户提供服务。提供的接口包括Restful接口、push接口和地图服务接口。

Restful接口:主要的服务访问方式,可以查询、添加、修改、删除时间空数据、知识、业务信息。

推送接口:用于实时性要求高的数据,支持根据用户权限推送系统数据。

地图服务接口:用于访问用户的地理实体数据、影像数据、高程模型数据和三维模型数据。包括WMS、WMTS、WCS、CSW等标准服务接口。

数据引擎:提供基础空数据、公共专题数据、地理信息数据、终端感知数据、政务数据、民政数据、互联网数据、本地扩展数据等数据的高效访问和管理。

知识引擎:通过大数据分析形成的主题信息的时间空分布规律、关联规则和时间空演化,隐藏在大数据的深层,汇集成知识服务。完成数据的深度挖掘,进而获取有价值的知识。包括具体分析引擎、推理引擎和业务知识链。

分析引擎:基于time 空大数据挖掘分析,通过统计分析、数据特征提取、相关性分析、聚类分析等技术,建立实时分析模型库。

推演引擎:利用决策树、人工神经网络等技术,建立预测推演模型库,实现时间空数据的预测推演。

知识链:以分析引擎和推理引擎为基础,结合用户的业务实践,形成智能知识链,可以在用户的使用中自适应调整和完善,丰富和扩展知识链。

业务引擎:根据业务逻辑和流程规则,建立不同的业务流程模型,通过调用业务服务接口,实现业务流程的自动流转。具体功能包括业务规则管理、运营服务管理和运营监控管理。实现了业务审批模块的工作流元模型,实现了审批流程节点、节点类型和角色类型以及它们之间的自定义逻辑处理。

4.平台支撑环境

平台环境将实现系统安全和服务监控功能。通过监控time 空大数据平台各模块的运行情况,监控模块间的数据流动,监控对外调用服务接口,可以实现快速的系统异常识别和系统动态扩展。

——安全保障:包括Web安全、虚拟化安全、数据安全、访问控制、安全审计、服务限流、保险丝、资源安全隔离等安全模块。

——运行监控:实现平台运行的监控管理功能,实现实时监控、阈值预警、处置跟踪等功能。平台本身、组件和模块。同时,资源开销与集群规模的关系保持线性增长,有效降低了服务管理给平台带来的开销。

关键技术

1.统一时的空基准

Time 空标杆建设是一个政治大国、经济大国、军事大国的重要基础设施和标志。实施军民融合国家战略,需要加强时间空基准建设,确保国土、领海、领土空安全,需要天地海一体化的时间空基准保障。因此,统一的time 空基准是time 空大数据平台运营的前提。只有把时间空大数据建立在统一的时间空基准上,才能真正构建一个与世界和海洋融为一体的时间空。

Time 空 datum是地球的三维模型,包含地理空和时间空部分信息之间的几何信息。它是一种参考基准,以数据的形式表示现实世界中各种地理要素的位置和时变性。我国自建的北斗卫星导航系统是建设统一时间空基准的重要支撑。因此,建立以北斗卫星导航为核心的新一代时间空基准是时间空大数据技术的核心。

空。CGCS2000是2008年推出的新一代国家大地坐标系,属于地心大地坐标系。该坐标系的采用支持了我国北斗卫星导航系统的建设和应用,也满足了全球空间遥感、海洋监测和地方测绘服务的坐标参考标准要求。因此,在空之间以北斗位置为基准,可以满足各行业用户对高精度、快速、实时空大数据服务的要求。

时间基准。北斗作为目前授时精度最高、应用前景最广的授时手段,可以实现标准时间的大范围、高精度、全天候播发,满足时间空大数据应用中对统一时间基准的需求。所以采用北斗时间作为时基,它是一个原子时,以国际单位秒制为基本单位,连续累加,没有调秒的形式。历元为2006年1月1日0: 00: 00 UTC,采用星期和星期内秒的计数形式。

2.Time 空大数据挖掘

随着北斗三号的全面应用,时间空信息在人们身边发挥着越来越重要的作用,指示时间空服务的需求也越来越广泛。大众的出行需求,政府的监管需求,都需要精细化、智能化的时间空服务。目前,已有多个省市政府部门和企业开展了基于北斗的时间空大数据平台建设,包括交通数据大数据中心和地基加固系统建设。为了充分发挥time 空大数据的服务功能,需要对time 空数据进行挖掘,包括整合分析、训练预测和可视化表达。

时间空数据的整合分析主要包括两种,一种是轨迹点集数据的整合分析,如轨迹匹配、报警点聚合分析、用户时间空行为分析等;另一种是影像数据的集成分析,主要需要结合遥感数据,包括农作物遥感监测、洪涝灾害预测、通过夜光遥感影像进行社会经济动态监测。

时间空数据的训练预测主要基于人工智能等先进技术,利用时间空知识引擎对数据进行训练和建模。Time 空知识引擎主要针对不同的应用场景模型形成知识链,然后通过数据训练不断优化模型和链,最终实现time 空数据预测和分类等功能。

时间空数据的可视化表达可以借助丰富的GIS可视化手段,包括热图、聚集图、散点图,也可以借助不同的场景,包括2D地图场景、三维建模场景等进行展示。最后采用多视图集成、多维展示,以地图为基础,结合折线图、直方图、偏移图等统计手段进行同步。

3.Time 空大数据快速检索技术

时间空数据主要依靠PNT传感器,时间空大数据内容广泛,包括行业业务数据、北斗/GPS位置数据等结构化数据,以及遥感影像数据等非结构化数据。当空时,获取大数据的能力是快速和容易的,但相比之下,是数据的存储方式和检索速度。

目前time 空数据的存储主要基于显性属性,容易忽略time 空特征,导致实际应用中time 空数据的检索效率较差。同时,一些遥感影像数据在存储和检索前需要人工经验进行校正。但是随着小时数空越来越大,用人工的方法很难保证标注图像数据的准确性和及时性。因此,对于结构化的time 空数据,可以对位置和时间进行索引。这里需要注意的是,位置索引可以结合地理信息系统的特点,为区域查询和路线查询提供特殊支持。对于遥感数据的快速检索,需要提取图像数据的语义,然后通过语义进行快速检索。

同时,随着时间空数据的接入,比如传感器、天地一体化信息网络等。,由于当前time 空数据缺乏语义,对time 空数据的检索提出了更高的要求。但随着人工智能技术的不断发展,基于时间空数据知识图谱的信息关联方法将是时间空数据关联的发展方向之一。通过机器学习增加空数据的语义,快速索引空大数据将是未来的发展趋势。

篮子分享转载自中国管理科学学会大数据委员会。本文观点仅供分享交流,不代表我们的立场。如果涉及版权等问题,请告知我们,我们会及时处理。

关于洗衣科技公司

篮子科技股份有限公司是全球领先的time 空智能大数据服务公司,中国领先的位置数据和行业应用解决方案提供商,中国领先的高精地图服务商。依托自主研发的专利技术,基于高精度地图和多源时间空智能大数据,建立城市级和行业级全息时间空数字孪生系统,积极服务于智能交通、自然资源资产管理、LBS智能行业应用等领域。如需了解更多信息,请搜索“洗衣单技术”并访问公司网站。

 
友情链接
鄂ICP备19019357号-22