云端运行中尺度气象模式:即开即用的一体化工作流

核心提示WRF是由美国环境预测中心及美国国家大气研究中心等一系列美国科研机构合作开发的一款中尺度数值天气预报模式,因具有可移植、可扩充、易维护及高效率等优势,使其在国内外都得到了广泛的应用。但由于本地 WRF 模式的运行需要基于 Linux 系统,

WRF是由美国环境预报中心和国家大气研究中心等一系列美国科研机构开发的中尺度数值天气预报模式。由于WRF具有可移植性、可扩展性、易维护性和高效性等优点,在国内外得到了广泛的应用。但是,由于本地WRF模式需要基于Linux系统,整个编译、安装、预处理、运行、分析过程相当复杂,给相关研究人员带来了很多实际困难。

基于此,本文将介绍一种基于云数据科学协作平台的WRF模型——Model Whale,它可以从多个角度、多个方面在一定程度上解决上述问题,从而为大气科学领域的研究人员提供更加便捷实用的中尺度天气预报模型,助力相关科学研究的可持续发展。

第一,基于本地小型机的传统WRF模式

天气和气候变化是生态环境领域的重要研究对象,对它们的合理认识是进行生态、环境和能源评估和规划的前提。因此,天气预报和气候模拟的应用不断扩大和深化,WRF中尺度数值天气预报模式应运而生。

这种模式是用Fortran90语言编写的,所以即使在不同的平台上,只要Fortran编译器的版本合适,这种模式的源代码就可以在编译级进行移植,具有灵活性、易维护性、可扩展性,适用于广泛的计算平台。此外,与其他气候模式相比,WRF模式具有先进的数据同化技术、强大的嵌套能力和先进的物理过程,这使其在对流和中尺度降水处理能力上更具优势。

随着WRF模式的快速发展,其基于分辨率的应用范围和基于模式模块的应用范围变得更加广泛。作为大气科学领域中实际业务和科研场景中不可缺少的工具之一,WRF模式在区域气候模拟、空空气质量模拟、海气耦合和理想实验模拟中发挥了重要作用。

基于传统小型机的本地WRF模式运行中存在的问题

WRF模式由四部分组成,即前处理系统、数据同化系统、power内核,即主模块和后处理系统。作为一个由许多极其复杂的组件组成的应用,WRF模型的安装过程极其复杂,运行过程极其耗时。

首先,对于安装过程,WRF模式不仅需要提前配置Linux操作系统,还需要准备大量的依赖库。比如安装WPS读取GRIB2格式的气象数据要安装zlib、libpng、Jasper。在安装主模块之前,还应该安装英特尔Fortran、netCDF4和HDF5支持库。如果需要并行计算,还应该安装OpenMPI或MPICH。在传统的小型服务器上,一般使用sudo apt-get install命令来安装软件,进入bashrc设置软件和库的路径对应的环境变量非常麻烦。而且安装错误往往是因为软件版本的问题,系统环境的相互依赖和兼容问题,耗时太多。

但对于WRF模式的运行过程,如果以传统的单CPU单核个人电脑为载体,即使是常规项目也往往需要运行一天以上。同时还容易出现运行错误或电脑死机等其他问题,大大拖慢了数据生产效率,消耗了科研人员过多的时间和精力。

为了降低安装难度,弥补计算能力的不足,除了在已经完成环境布局的实验室计算机、大型机或超级计算机上直接运行WRF模式外,比较可行实用的方法是将单台计算机连接到超级计算中心进行远程访问,或者选择一个预装相关映像的在线大数据平台,在线完成一整套WRF模式的运算和结果输出。本文将介绍一个基于云数据科学协作平台的WRF中尺度数值天气预报模型——Model Whale。

2.基于云数据科学协作平台ModelWhale的WRF模式

ModelWhale是鲸力科技旗下的数据科学协作平台,集数据管理、建模分析、模型训练管理、计算资源管理、任务管理于一体,支持Python、r等编程语言,通过分步开放的数据基础设施、Jupyter Notebook的交互模式、Canvas拖拽模式和CloudIDE,以及开箱即用的云分析环境,为各领域研究人员和团队解决数据安全应用、底层工程复杂、研究成果难以流通和复制等问题,让数据驱动的研究更加便捷高效。如果WRF模式可以在ModelWhale上运行,云数据科学协作平台可以为大气科学家提供以下几个方面的技术支持,大大提高他们的研究效率:

ModelWhale提前为大气科学家预设了“WRF镜”。

ModelWhale在后台为用户定制了“WRF映像”,其中预装了WPS和WRF系统相关的大部分依赖库和程序模块。基于该平台的在线Jupyter笔记本运行WRF模式时,研究人员只需快速调用一系列依赖库后,选择“WRF镜像”即可完成程序模块的编译。换句话说,不需要任何复杂的操作,通过选择镜像——等待几分钟进行依赖库的调用和程序模块的编译,就可以完成WRF模式的所有“安装”步骤,大大降低了WRF模式开始运行的技术门槛。

ModelWhale为模型研究人员提供多规格云计算能力。

ModelWhale提供云计算租赁服务,用户可以根据需求选择各种CPU计算资源。

在32核Linux集群系统上构建了WRF模式并进行了并行计算实验。结果表明,当处理器数量逐渐增加到16时,WRF模式的总运行时间随着数量的增加而单调减少。但是随着处理器数量从16个继续增加到26个,虽然模式总运行时间的趋势总体上是下降的,但是变化并不明显,有一些起伏。可以说在可控的成本范围内,16核64G CPU计算资源在WRF模式下具有很高的时间效率,可以让大气科学家的研究时间翻倍。

ModelWhale可以提供高层云计算能力的接口。付费后,研究人员可以应用各种规格的CPU计算资源,在个人电脑上运行WRF模式。

以上,通过镜像配置和计算能力配置,基本可以解决基于小型计算机的传统WRF模式运行过程中安装困难和计算资源不足的问题。

ModelWhale支持多种类型本地数据的上传和访问,以及云中超大数据的调用。

与实验室主机或超级计算中心相比,ModelWhale还具有云数据挂载功能,有助于推进WRF模式运行前的数据准备。

一般来说,驱动WRF模式运行最基础的数据包括地形数据和初始天气场数据,这两种数据都需要有选择地从相关网站下载到个人电脑上,然后通过硬盘或其他方式多次转移到不同的实验室主机或超级计算中心,非常耗时。但是,如果将这两种数据挂载到云上,团队只需要一次下载+上传操作就可以重用和共享这些数据。使用时,数据挂载后可以直接调用数据,不再需要不必要的数据传输步骤。目前如果使用的数据量不大,可以作为数据集挂载。

但实际上,地形数据是一个不随时间变化的静态数据集,被访问一次就可以用于后续所有的仿真过程。初始气象场数据每日更新的时间和频率是固定的,因此定期爬取也是可行的。未来,随着基于ModelWhale的WRF模型受众越来越多样化,ModelWhale还将以NAS 空的形式挂载所有地形和初始天气场数据,并指派专人长期维护云端数据。在运行WRF模式的过程中,科研人员可以直接按需调用,进一步省去从NCEP等官网下载到上传到云平台的步骤,轻松实现超大气象数据的研究分析。

ModelWhale的不同功能模块帮助研究人员全方位优化WRF模式的工作流程。

ModelWhale本身的其他功能也可以优化WRF模式的工作流程,降低底层工作的复杂度,减轻研究人员的各种负担。

对于个人研究人员:

以个人研究人员为例,除了提供上述环境、计算能力和数据,ModelWhale的Jupyter笔记本还具有出色的版本管理功能——面对WRF模式运行过程中需要多次修改迭代的研究参数,如果想要保留每个版本,需要在每次修改前创建一个副本并重命名,最终可能导致研究人员自己无法区分有效的版本结果。

ModelWhale支持复杂科研项目阶段性工作的版本管理,提供生成项目版本、版本对比、内容替换、合并版本等功能。对于每一次修改,研究者都实现了文件级的回滚和单元级的回溯。

对于团队研究人员:

对于团队研究人员来说,ModelWhale不仅有助于项目级代码编写的协作,更重要的是可以帮助生产资料的共享和管理,促进团队内部的协作,促进研究成果的复制。在ModelWhale Team Edition的team room 空中,后台提供了团队的共享视图,管理者可以灵活地对各种研究课题、算法项目、分析任务进行划分与拆卸、任务分配、数据访问、资源分配、进度监控、成果验收与复用等项目管理。

简而言之,对于WRF模式所需要的环境、计算能力、数据,管理者不仅可以在团队内部流通共享,还可以进行管理和控制,保证数据安全,避免资源浪费。至于WRF模式贯穿后的代码文件和研究成果,成果也可以在团队中重现——在权限允许的情况下,可以一键分叉他人已发表的研究成果,甚至可以查询其版本历史,从而实现组织内部的有效协作,大大提高工作效率。

在项目研究完成后,研究人员团队可以选择运行时分析环境、挂载的数据集和最终的代码版本,将所有的生产要素整合在一起,并添加一定的文本描述,这些内容将被存入组织的项目成果数据库。

此外,ModelWhale团队版可以升级为科研版和教研版。科研版主要从任务规划、算法库等功能模块简化研究工作的复杂性,同时以低门槛的数据分析拓展数据研究的边界,实现多人、多角色、随时随地的数据驱动相关研究。教研版主要实现了教学与研究的融合,具有课题管理和课程管理功能,实现了灵活的群体管理机制,有助于从学习到研究、从研究到学习的双向角色转换。

ModelWhale还可以对WRF模式的输出进行视觉后处理和机器学习后处理。

整个WRF模式贯通后,根据输出的NetCDF数据,ModelWhale还可以提供可视化后处理和机器学习模型训练后处理功能,真正实现WRF模式的一体化工作流程。

可视化是连接WRF模式结果输出和显示的桥梁。基于ModelWhale的Jupyter笔记本使用Python可视化WRF模式。一般可以包括通过netCDF4库对nc数据进行简单的读取和处理,用NumPy库进行经纬度转换,用Cartopy和Matplotlib库进行数据可视化,用Matplotlib库绘制图片细节等。

除了可视化,ModelWhale还可以提供模型训练功能,支持通过机器学习对WRF模型预报结果进行后期处理。众所周知,机器学习在气象领域发挥着重要作用。将传统的物理模型与机器学习模型训练相结合的智能天气预报,因其高分辨率和高精度,逐渐成为天气预报的主流形式。如果能够结合机器学习的修正技术对WRF模型结果进行校准和优化,无疑将大大提高预测结果的质量。基于ModelWhale的Jupyter Notebook,大气科学家可以方便地在云端进行模型训练和按需调用。

当然,在传统个人电脑中进行WRF模式的后处理和后处理也不是不可能的。以ModelWhale作为上述操作的载体,除了其版本管理、团队协作等锦上添花的功能外,主要原因是科研人员可以避免nc数据传递、转换的过程,只需直接挂载WRF模式输出的数据集,就可以随时启动后期处理,避免了基础工作的繁杂。

ModelWhale已经为许多大学和机构提供了与WRF相关的服务。

目前,ModelWhale已为多所高校和机构提供WRF模式相关服务,帮助其开展大气科学领域的教学、科研和实际应用。

郑州大学Z老师基于WRF模式的教学要求,购买了ModelWhale的教研产品,ModelWhale为Z老师提供了长达数月的WRF模式云教学实训平台服务。在此过程中,该产品不仅可以帮助Z老师带领研究生进行基础WRF模型的磨合,进行必要的数控数据后处理,低门槛的重现已有研究成果,完成教学过程中的各种小组训练和作业,还可以帮助Z老师进行课程管理,使教学准备更加丰富完善,教学过程更加高效顺畅,课后评价更加专业便捷。

云南大学S老师主要通过ModelWhale产品支持其课题组的研究工作,在云端进行包括但不限于WRF的模式分析。ModelWhale为S老师提供了每个模式所需的镜像,并配有技术顾问全程协助答疑。最后搭建了一个可以应用于该课题组的云研究室空。在提供数据存储、计算资源等服务的同时,帮助他运行各种天气预报模式,进行可视化后处理和机器学习后处理,满足博硕士研究生的日常研究任务。

事实上,作为一个数据科学的协作平台,ModelWhale在大气科学领域拥有相当丰富的经验。许多来自国家和地方气象局的气象研究人员也在使用ModelWhale产品作为他们的气象大数据挖掘分析和机器学习的协作工具。因此,ModelWhale获得了大气科学家的积极反馈。

第三,欢迎研究人员使用ModelWhale在线运行WRF模式。

介绍了一种基于云数据科学协作平台ModelWhale的WRF模型,该模型极大地缓解了基于小型计算机的传统WRF模型的安装和运行问题。此外,ModelWhale提供的数据管理和成果复制功能有助于提高工作效率。同时,该平台还可以帮助研究人员对WRF模式和机器学习产生的数据进行可视化和后处理,真正实现工作流的一体化运作。

目前,ModelWhale平台免费为气象学及相关领域的研究人员提供运行WRF模式的图像和计算能力。欢迎你来实践。感兴趣的师生请【联系ModelWhale产品顾问MoMo】,MoMo将提供各类配置支持服务及相关项目资源,帮助用户快速上手。

 
友情链接
鄂ICP备19019357号-22