数据同化算法研发与实验(附算法程序)图书
人气:46

数据同化算法研发与实验(附算法程序)

本书基于国内外相关研究和作者在数据同化领域的研究心得,重点介绍数据同化算法的研发与实验。围绕数据同化算法研发和实验这一主题,本书从陆面数据同化理论和陆面过程模型切入,提炼数据同化的"一个框架、四个基...
  • 所属分类:图书 >计算机/网络>地理信息管理系统(GIS)  
  • 作者:[马建文],等
  • 产品参数:
  • 丛书名:地球信息科学基础丛书
  • 国际刊号:9787030370044
  • 出版社:科学出版社
  • 出版时间:2013-03
  • 印刷时间:2013-03-01
  • 版次:1
  • 开本:12开
  • 页数:--
  • 纸张:胶版纸
  • 包装:平装
  • 套装:

内容简介

本书基于国内外相关研究和作者在数据同化领域的研究心得,重点介绍数据同化算法的研发与实验。围绕数据同化算法研发和实验这一主题,本书从陆面数据同化理论和陆面过程模型切入,提炼数据同化的"一个框架、四个基本要素"架构,在选择可变渗透能力模型(VIC模型)的基础上开展数据同化算法实验,实现了三维变分算法、四维变分算法和集合卡尔曼滤波算法等三种经典数据同化算法,以及粒子滤波算法和层状贝叶斯方法等两种智能数据同化算法的研发与实验,并且通过具体实例详细介绍各个算法的研发、实验步骤以及算法结果的分析评价。,介绍了作者课题组开发的数据同化集成软件系统。

本书旨在对从事陆面数据同化研究的工作者提供入门参考和思路借鉴;同时,也适合定量遥感、全球环境变化及地球系统科学等领域的科研工作者以及高等院校师生参考。

编辑推荐

同化算法是一种多源遥感数据和模型数据集成的数据处理技术,是目前遥感界研究的热点和前沿。 马建文等编著的《数据同化算法研发与实验(附算法程序)》从陆面数据同化理论和陆面过程模型切入,提炼数据同化的"一个框架、四个基本要素"架构,在选择可变渗透能力模型(VIC模型)的基础上开展数据同化算法实验,实现了三维变分算法、四维变分算法和集合卡尔曼滤波算法等三种经典数据同化算法,以及粒子滤波算法和层状贝叶斯方法等两种智能数据同化算法的研发与实验,并且通过具体实例详细介绍各个算法的研发、实验步骤以及算法结果的分析评价。

目录

前言

第1章 绪论

1.1 全球变化研究与数据同化

1.2 数据同化基本构成

1.3 数据同化算法分类

1.4 陆面数据同化研究进展

1.5 遥感数据同化研究进展

1.6 本书主要内容

1.7 本章小结

主要参考文献

第2章 数据同化算法发展与进步

2.1 变分方法

2.1.1 三维变分算法

2.1.2 四维变分算法

2.2 卡尔曼滤波算法

2.3 集合卡尔曼滤波算法

2.4 粒子滤波算法

2.5 层状贝叶斯方法

2.6 数据同化算法基本公式、机制与特点

2.7 本章小结

主要参考文献

第3章 过程模型选择与应用改进

3.1 陆面过程模型发展阶段

3.2 陆面过程模型比较与选择

3.3 VIC水文过程模型原理与应用改进

3.3.1 VIC水文过程模型原理

3.3.2 VIC水文过程模型代码移植与编译

3.3.3 VIC水文过程模型应用改进

3.4 VIC水文过程模型基础参量准备

3.4.1 大气驱动数据

3.4.2 土壤参数

3.4.3 植被参数

3.4.4 全局参数

3.4.5 基础参量与数据来源

3.5 VIC水文过程模型数据准备与程序代码

3.6 VIC水文过程模型运行与校验

3.6.1 VIC水文过程模型运行

3.6.2 VIC水文过程模型校验

3.7 VIC水文过程模型实验

3.7.1 VIC水文过程模型实验一

3.7.2 VIC水文过程模型实验二

3.7.3 VIC水文过程模型实验三

3.8 本章小结

主要参考文献

第4章 经典数据同化算法开发与实验

4.1 三维变分算法

4.1.1 算法原理

4.1.2 算法流程

4.1.3 算法实现

4.2 三维变分算法同化实验

4.3 四维变分算法

4.3.1 算法原理

4.3.2 算法流程

4.3.3 算法实现

4.4 四维变分算法同化实验

4.5 集合卡尔曼滤波算法

4.5.1 算法原理

4.5.2 算法流程

4.5.3 算法实现

4.6 集合卡尔曼滤波算法同化实验

4.6.1 实验一 站点观测数据与VIC水文过程模型数据同化

4.6.2 实验二 微波亮温数据与VIC水文过程模型数据同化

4.7 本章小结

主要参考文献

第5章 现代智能数据同化算法Ⅰ:粒子滤波算法

5.1 粒子滤波算法理论基础

5.1.1 贝叶斯滤波基本原理

5.1.2 粒子滤波算法原理

5.2 重要性采样

5.2.1 贝叶斯重要性采样

5.2.2 序贯重要性采样

5.3 粒子退化与重采样

5.3.1 粒子退化

5.3.2 重采样

5.4 粒子滤波算法流程与实现

5.4.1 粒子滤波算法流程

5.4.2 粒子滤波算法实现

5.5 粒子滤波算法同化实验

5.5.1 实验一 站点观测数据与VIC水文过程模型数据同化

5.5.2 实验二 微波亮温数据与VIC水文过程模型数据同化

5.5.3 实验三 数据同化与VIC水文过程模型参数同步估计

5.6 本章小结

主要参考文献

第6章 现代智能数据同化算法Ⅱ:层状贝叶斯网络算法

6.1 层状贝叶斯方法理论基础

6.1.1 数据模型

6.1.2 过程模型

6.1.3 参数模型

6.1.4 贝叶斯推理

6.2 层状贝叶斯网络算法

6.2.1 数据描述

6.2.2 层状贝叶斯网络构建

6.2.3 层状贝叶斯网络结构

6.2.4 层状贝叶斯网络学习、校验与预测

6.2.5 层状贝叶斯网络算法流程

6.3 基于多尺度回归模型的层状贝叶斯网络算法

6.3.1 基于多尺度回归模型的层状贝叶斯网络构建

6.3.2 基于多尺度回归模型的层状贝叶斯网络结构

6.3.3 基于多尺度回归模型的层状贝叶斯网络推理

6.3.4 较大似然参数估计

6.3.5 基于多尺度回归模型的层状贝叶斯网络算法技术流程

6.4 层状贝叶斯网络同化站点观测与VIC水文过程模型数据实验

6.4.1 数据预处理

6.4.2 层状贝叶斯网络学习与校验

6.4.3 层状贝叶斯网络预测

6.4.4 程序代码

6.5 本章小结

主要参考文献

第7章 数据同化集成系统

7.1 系统结构与功能设计

7.2 系统详细设计

7.2.1 输入输出模块

7.2.2 陆面过程模型模块

7.2.3 数据同化算法模块

7.2.4 数据可视化模块

7.2.5 精度评价模块

7.3 系统功能实现与界面

7.3.1 数据同化功能与界面

7.3.2 数据可视化功能与界面

7.3.3 精度评价功能与界面

7.4 本章小结

主要参考文献

附录一 VIC水文过程模型与数据准备的C/C++代码

附录二 三维变分算法(3DVAR)开发C++代码

附录三 四维变分算法(4DVAR)开发C++代码

附录四 集合卡尔曼滤波算法(EnKF)开发C++代码

附录五 粒子滤波算法(PF)开发C++代码

附录六 层状贝叶斯网络算法(HBN)开发WinBUGS和Matlab代码

彩图

在线预览

第1 章 绪 论

近年来,全球环境变化对人类生存影响日益突出,为了加强对陆地-大气-海洋全球变化进行长期观测和研究,一系列全球对地观测计划相继被提出,其中以1999 年12 月开始实施的地球观测卫星计划(EOS)和2003 年开始构建的全球环境及安全监测系统计划(GMES)作为主要代表,标志着全球变化研究进入一个以探测全球变化为目标的数据获取、数据同化和模拟计算的新阶段。2005 年11 月召开的第三次国际地球观测峰会,通过了建立全球综合地球观测系统(GEOSS)共同应对全球气候变化,提升综合、定量处理对地观测数据水平和推动对地观测数据共享的宣言。2012 年国科联(ICSU)在伦敦举行会议,会议以"压力下的地球"为主题,以"新的科学知识实现全球可持续发展挑战和提出解决方案"为聚焦,提出"未来地球10 年计划"。

作为GEOSS 计划的重要成员国之一,我国积极响应全球环境变化研究,采取了一系列措施。2008 年我国发射风云三号卫星,载荷了11 种高性能传感器和探测仪器,可以实现对大气、海洋和陆地协同观测,能够得到40 多种要素产品;我国"十二五"建设的"航空遥感系统"将载荷11 种先进遥感器,获取区域地表、大气和水体变化参量;同时,中国卫星遥感地面站存有1986 年以来的各类对地观测卫星数据资料,总计达250余万景、250TB,是我国较大的对地观测卫星数据历史档案库。如何有效利用这些观测数据成为当前全球环境变化研究的关键问题,通过数据同化充分利用这些数据和信息产品,有助于模拟预测全球环境变化和开展地球系统研究。相比于传统的遥感反演方法,数据同化将观测数据与地球动力模型有效地结合起来,成为连接观测数据与驱动模型预测的关键桥梁,得到更加客观的结果,而传统的反演算法则是对单一来源、单一时刻的遥感数据进行处理,反演结果的质量直接由遥感数据和反演算法决定。全球环境变化研究的迫切性和数据同化本身的优越性极大地带动了数据同化的发展,数据同化算法在不断完善过程中也在引入新的数学研究成果,展示出创新发展的潜力。

1.1 全球变化研究与数据同化

由于人类活动的影响,21 世纪温室气体和硫化物气溶胶的浓度急速增加,据科学家预测,未来50~100 年人类将进入一个变暖的世界。未来100 年,全球、东亚地区和我国的温度将迅速上升,全球平均地表温度将上升1.4~5.8 ℃,到2050 年,我国平均气温将上升2.2 ℃,全球气候升温,地下水水位下降,粮食减产,从而造成海平面升高,沿海地区被淹没,生态环境退化,给人类生存条件带来潜在的影响。我国基本国情是人口多、底子薄,用世界7.9%的耕地和6.5%的淡水资源养活着世界近20%的人口。全球变暖对于支撑我国经济社会发展的脆弱生态环境所产生的影响还具有一定的不确定性,应对全球变暖是我国在2020 年实现小康社会面临的重大挑战之一。在全球变暖背景条件下,利用尽可能多的空间对地观测资料,增加对全球变化和区域可持续发展的科学认识,为帮助国家解决好我国经济社会发展与生态环境,资源能源出现的"不平衡、不协调和不可持续"区域可持续发展问题提供支撑。

为了监测并预测全球环境变化,以1999 年12 月开始实施的地球观测卫星计划和2003年开始构建的全球环境及安全监测系统计划作为标志,全球环境变化研究进入一个以探测全球变化为目标的数据获取、数据同化和模拟计算的新发展阶段。2005 年11 月召开的第三次国际地球观测峰会,通过了建立全球综合地球观测系统共同应对全球气候变化、提升综合定量处理对地观测数据水平和推动对地观测数据共享的宣言。我国是全球综合地球观测系统的主要成员,与其他成员国提供空间对地观测数据共享服务,携手共同应对全球变化和区域可持续、均衡发展问题。我国各种分辨率的空间对地观测数据已经积累了40 多年,对地观测平台已经发展到七种系列,包括气象卫星系列、海洋卫星系列、中巴地球资源卫星系列、灾害与环境监测预报卫星星座系统、探月工程――嫦娥系列、北京1 号小卫星和天宫一号高光谱数据,并且与多个拥有对地观测卫星的国家签署卫星数据获取协议或使用协议,具备了接收超过15 颗对地观测卫星的能力,包括密云、喀什和三亚等地面接收站网。IGARSS 2012 年德国慕尼黑学术会议将重点聚焦在应对全球气候变化,专门设立了四个科学主题:地球过程动力和气候变化、数据同化、综合地球观测系统和新卫星计划。

为应对全球变化与区域可持续、均衡发展问题提供和持续的技术支持是地球科学和空间对地观测领域需要突破的技术难点和长期任务,需要共同努力完成。

从需求层面看,全球变化动态过程模型和参量估计在支持区域可持续发展方面具有需求的普遍性。我国对全球变暖资料产品和核心关键技术突破的需求主要来自三个方面:为国家应对全球变暖决策提供科技支撑;为不同部门运行系统提供与全球变暖背景相关的信息产品,改善运行系统质量;国家制定与全球环境变化相关的重大科技计划时,需要对全球变暖信息产品和信息平台提出需求。从应用层面看,数据同化适合于大气、海洋和陆面

系统或耦合模型驱动系统的参数估算与分析,也是我国制定的国家全球变化相关重大科技计划的关键技术攻关内容。为此,"十二五"期间需要加强相关实验室和大学的联合攻关,突破关键核心技术,加快将我国低端数据产品服务提升到高端信息产品和服务能力,迈向从数据产品服务提升到模型预测决策信息服务的新台阶,主要包括以下两点。

(1) 在网络数字地球科学平台的基础上增加数据同化系统,实现过程模型、同化算法、驱动数据、输入数据和预测结果的网络化共享。数据同化是在陆面、海面和大气过程模型或耦合模型框架基础上完成的,通过数据同化可以修正过程模型的模拟预测轨迹,也可以获得其他不能直接观测或当前不具备观测条件的参量。

(2) 按国际全球变化建议的54 种基础参量产品,开发和引进评价信息产品,生成物理模型和统计模型,对信息产品加工流程的每一个环节进行检验。空间对地观测和反演的五十多个基础参量涉及地球系统的大气、海洋和陆地等系统,包括大气温度、风速风向、水汽、压力、降雨、表层辐射通量、温度、云性质、太阳辐射通量、二氧化碳、甲烷、臭氧和气溶胶、其他长寿命温室气体等大气参数,海洋表层温度、盐度、水位、海浪、浮冰、表流、水色、二氧化碳颗粒压强、酸度等海洋参数,径流、反照度、土壤水分、雪水当量等地表参数。

陆地是地球系统的重要组成部分,陆面过程模型模拟地表的生物/物理变化过程,加深人们对地表变化的理解,是全球环境变化的重要模型之一。数据同化作为检验、改善陆面过程模型的重要方法,在全球变化研究中具有极大的重要性,主要表现在以下两方面:

(1) 数据同化利用观测数据不断降低过程模型模拟过程中的不确定性,使得模型模拟预测结果更接近真实情况。

(2) 观测的物理参量与其他地表状态参量之间通常有复杂的函数关系,通过数据同化可以获得许多没有技术条件观测到的状态参量。例如,土壤水分对于全球的能量和水分平衡起到重要作用,但是通常我们只能获得表层的土壤水分,对于根区和底层的土壤水分必须通过不同深度之间的土壤水分函数关系计算得到。又如海水盐度也是海洋过程模型中不可或缺的物理参量,但是大尺度区域的海水盐度需要从海流、海冰和温度等状态中估算。

为了推动全球变化监测数据共享,国际上相继开展了一系列同化运行系统研发,实现模型、算法和数据共享的研究。其中,以美国国家航空与航天局哥达德空间飞行中心、美国国家海洋大气局的国家环境预报中心和水文科学部、普林斯顿大学、华盛顿大学开发的北美陆面数据同化系统(North-America Land Data Assimilation System,NLDAS;Luo et al.,2003)和全球陆面数据同化系统(Global Land Data Assimilation System,GLDAS;Rodell et al.,2004)为典型代表。NLDAS 和GLDAS 数据同化系统集成了MOSAIC 模型、NOAH 模型、SAC 模型和VIC 模型等四种陆面过程模型,主要利用三维变分算法和集合卡尔曼滤波算法进行数据同化,旨在提供北美和全球范围多种参量、高时空分辨率的陆面过程参量产品。

1.2 数据同化基本构成

由于数据同化可以应用于地球系统科学研究的多个领域,因此不同领域专家对数据同化的内涵与外延有各自的表述(Robinson and Lermusiaux,2000;黄春林和李新,2004;李新和黄春林,2004;宫鹏,2009;李新和摆玉龙,2010)。Robinson 和Lermusiaux 认为数据同化是一种对海洋变量进行估计的通用方法,它联合观测数据和海洋学动态模型提供的海洋变量估计值,而这是其他方法所不具备的(Robinson and Lermusiaux,2000)。李新认为陆面数据同化是集成多源地理空间数据的新思路,其核心思想是把不同来源、不同分辨率、直接和间接的观测数据与模型模拟结果集成,生成具有时间一致性、空间一致性和物理一致性的各种地表状态的数据集,并且认为在陆面数据同化系统上发展起来的陆地信息系统将会发展为未来GIS 中的重要工具(李新和黄春林,2004;黄春林和李新,2004;李新和摆玉龙,2010)。宫鹏定义数据同化是在考虑数据时空分布和对模型、观测做出误差估计的基础上,在数值模型的动态运行过程中融合新的观测数据的方法,其目的是生成具有时间、空间和物理一致性的数据集,他认为遥感数据的引入可以辅助改善环境模型的模拟精度,尤其是在提高模型对参数的空间不均一分布(异质性)的模拟方面,同时数据同化也可以改善遥感数据产品的精度(宫鹏,2009)。上述定义方法表述有差异,但所描述的数据同化本质是一样的,总结上述定义数据同化包括4 个基本要素:模拟自然界真实过程的动力模型;状态量的直接或间接观测数据;不断将新观测的数据融入过程模型计算中、校正模型参数、提高模型模拟精度的数据同化算法;驱动模型运行的基础参量数据。

数据同化技术不同于一般的遥感数据反演或特征提取技术,是帮助研究地球系统复杂问题的工具(Daley,1991)。经过资料调研和对主要国家的数据同化系统剖析后,将数据同化系统概括为一个框架和四个基本要素构成(Reichle,2008;Gao et al.,2009;马建文和秦思娴,2012)。一个框架是陆面过程动力模型,数据同化就是在模型的动力框架内完成的;四个基本要素包括过程驱动模型、观测数据、数据同化算法和驱动过程模型运行所必须的基础参量。本书所用到的数据同化基本构成如图1.1 所示。

本书所选择的四个基本要素及其作用如下:

(1) 陆面过程驱动模型,陆面过程驱动模型是数据同化核心。书中选择的是VIC 水文过程模型,VIC 水文过程模型被认为是当前比较成熟的模型之一。

(2) 基础参量,驱动陆面过程模型需要的基础参量,描述研究区域内气候、土壤和植被特性的参数,主要包括反照率、土壤类型、高程等参数。

(3) 数据同化算法,包括以三维变分算法、四维变分算法和集合卡尔曼滤波算法为代表的经典数据同化算法,以及以粒子滤波和层状贝叶斯方法为代表的前沿探索方法。

(4) 观测数据,根据观测数据与待同化状态参量之间的一致性,数据同化通常可以分为直接同化和间接同化两类:一类是利用地面观测数据或者遥感反演产品直接进行同化,即直接同化;另一类是直接利用遥感观测数据进行同化,即间接同化,此时往往需要辐射传输模型或者其他模型表示观测数据与状态数据之间的关系。

将数据同化划分为一个框架和四个独立要素的好处是多方面的。一是将复杂问题简单化条理化,便于通过简明途径认识问题本质;二是便于利用"黑箱"原理开展大量的实验,包括驱动模型与同化算法实验,诊断克服交联问题,逐步达到协同计算的状态;三是在开展的大量驱动模型与基础参量,同化算法与观测数据系统实验中,帮助诊断克服优化组合和参数调整中的问题,思考解决问题的正确方向,逐步获得更好的数据同化效果。

1.3 数据同化算法分类

数据同化算法作为数据同化的重要组成部分,是连接观测数据与模型模拟预测的关键核心部分。通过数据同化算法将新观测参量不断加入到驱动模型计算中,有效地校正了模型模拟轨迹,使之更贴近实际(Reichle,2008),如图1.2 所示。图中横轴表示时间,纵轴表示状态值,浅灰色实心点表示观测数据,浅灰色实线表示观测数据误差,虚线表示模型的状态预测轨迹,黑色实线和浅色实线分别表示利用两种同化算法得到的校正后的状态量轨迹。

按数据同化算法与模型之间的关联机制,数据同化算法大致可分为顺序数据同化算法和连续数据同化算法两大类。连续数据同化算法定义一个同化的时间窗口T,利用该同化窗口内的所有观测数据和模型状态值进行估计,通过迭代而不断调整模型初始场,最终将模型轨迹拟合到在同化窗口周期内获取的所有观测上,如三维变分和四维变分算法等。图1.2 中浅色实线表示利用连续数据同化算法校正后的模型预测轨迹,任意t 时刻的状态量是根据[t?T, t+T ]时间内所有观测值对模型预测值进行校正得到的。当观测值与模型预测值相差较小时,校正后的轨迹与初始模型预测轨迹相差不大,若观测值与模型预测值相差较大,则校正后的轨迹与初始模型预测轨迹也相差较大。

顺序数据同化算法又称滤波算法(Mathieu and Alano'Neill,2008),包括预测和更新两个过程,预测过程根据t 时刻状态值初始化模型,不断向前积分直到有新的观测值输入,预测t+1 时刻模型的状态值;更新过程则是对当前t+1 时刻的观测值和模型状态预测值进行加权,得到当前时刻状态估计值,其中权重根据二者的误差确定。根据当前t+1 时刻的状态值对模型重新初始化,重复上述预测和更新两个步骤,直到完成所有有观测数据时刻的状态预测和更新,常见的算法有集合卡尔曼滤波和粒子滤波算法等。图1.2 中浅色实线表示利用顺序数据同化算法校正后的模型预测轨迹,若t 时刻有观测值,利用观测值校正模型预测值,模型预测轨迹在t 时刻发生跳跃。

1.4 陆面数据同化研究进展

数据同化最早应用于大气和海洋领域,陆面数据同化是同化方法应用到地球表层科学和水文学中而迅速发展起来的新方法,它作为独立的领域出现是在1995 年之后(Reichle,2008)。虽然陆面数据同化起步相对较晚,但是它在大气和海洋数据同化基础、陆面过程模型的发展以及遥感观测技术的基础上发展而来,在过去的20 年间取得了极大的研究进展。当前,陆面数据同化当前陆面数据同化的研究主要集中在陆面模型和水文模型基础上,采用不同的数据同化算法同化地表观测数据、卫星和雷达数据,优化地表和根区土壤水分、温度、地表能量通量等的估算。

目前国内外较为成功的数据同化系统有以下三种。

1.北美陆面数据同化系统和全球陆面数据同化系统

北美陆面数据同化系统和全球陆面数据同化系统项目于1998 年启动,主要以北美洲大陆(包括美国全部、墨西哥和加拿大部分地区)和全球两个不同尺度的陆面状态和通量的建模为目标,强调利用陆面数据同化系统提供全球和区域性的陆面同化数据集。NLDAS 和GLDAS 系统由美国国家航空与航天局哥达德空间飞行中心(NASA,GSFC)、美国国家海洋大气局的国家环境预报中心(NOAA,NCEP)和水文科学部、普林斯顿大学、华盛顿大学联合开发。GLDAS 和NLDAS 集成了4 种陆面过程模型(CLM、MOSIC、NOAH、VIC);参与同化的基础参量包括土壤、植被、生物方面的多种参量;集成多种同化算法;观测数据来源包括地面测试数据和遥感数据。其中,NLDAS 空间分辨率为1/8°1/8°,时间分辨率为1h;GLDAS 的空间分辨率为1/4°1/4°,时间分辨率为3h。

2.欧洲陆面数据同化系统

欧洲陆面数据同化系统(European Land Data Assimilation System to Predict Floods and Droughts,ELDAS)是欧盟资助项目,由ECMWF、DWD 和CNRM/Meteo France 共同组建,于2001 年12 月1 日正式启动。该项目的目标是设计和实现数值天气预报环境下的土壤水分数据同化系统,评价欧洲陆面数据同化系统(ELDAS)对于水文预报(洪水、季节性干旱)的改进效果。欧洲陆面数据同化系统(ELDAS)最终

免责声明

更多相关图书
在线咨询