基于飞桨实现高光谱反演:通过遥感数据获取土壤某物质含量

【飞桨开发者说】马云飞,枣庄学院地理信息科学专业在读,计算机视觉技术爱好者,研究方向为神经网络在遥感领域的应用等。

高光谱反演是什么?

高光谱反演是使用遥感卫星拍摄的高光谱数据以及实地采样化验的某物质含量数据来建立一个反演模型。简单来说就是:有模型以后卫星一拍,就能得知土壤中某物质的含量,不用实地采样化验了。

高光谱遥感可应用在矿物精细识别(比如油气资源及灾害探测)、地质环境信息反演(比如植被重金属污染探测)、行星地质探测(比如中国行星探测工程 天问一号)等。

目前有许多模型可用于高光谱反演,如线性模型、自然对数模型、包络线去除模型、简化Hapke模型,人工神经网络模型等,本文选择线性模型进行研究。

准备数据集

本次使用的数据集是前段时间跟一位博士师哥学习时使用的数据,是师哥辛辛苦苦从各地采样带回实验室化验以及处理遥感图像得来的。我们常用的遥感卫星有高分一号、高分二号、Landsat7 、Landsat8等。以Lansat8为例,其OLI陆地成像仪包括9个波段,空间分辨率为30米,其中包括一个15米的全色波段,成像宽幅为185x185km。热红外传感器TIRS包括2个单独的热红外波段,分辨率100米。以下是各波段的常见用途。

本次使用的数据集格式如下:

切割数据的比例要考虑到两个因素:更多的训练数据会降低参数估计的方差,从而得到更可信的模型;而更多的测试数据会降低测试误差的方差,从而得到更可信的测试误差。我们这个例子中设置的分割比例为8:2。

以下代码可直接在百度AI Studio 上fork我的项目来运行:

https://aistudio.baidu.com/aistudio/projectdetail/693750/

dataset = pd.read_csv('data/data48548/data.csv')#读取数据集   # df转array   values = dataset.values   # 原始数据标准化,为了加速收敛   scaler = MinMaxScaler(feature_range=(0, 1))   scaled = scaler.fit_transform(values)   data = scaled   ratio = 0.8 # 训练集和验证集的划分比例   offset = int(data.shape[0]*ratio)   train_data = data[:offset]   test_data = data[offset:]   def reader_creator(train_data):         def reader():             for d in train_data:                 yield d[:-1], d[-1:]         return reader   BUF_SIZE=50   BATCH_SIZE=20   #用于训练的数据提供器,每次从缓存中随机读取批次大小的数据   train_reader = paddle.batch(       paddle.reader.shuffle(reader_creator(train_data),                              buf_size=BUF_SIZE),                           batch_size=BATCH_SIZE)      #用于测试的数据提供器,每次从缓存中随机读取批次大小的数据   test_reader = paddle.batch(       paddle.reader.shuffle(reader_creator(test_data),                             buf_size=BUF_SIZE),       batch_size=BATCH_SIZE)   


配置训练程序

下面我们开始配置训练程序,目的是定义一个训练模型的网络结构。

对于线性回归来讲,它就是一个从输入到输出的简单的全连接层。训练程序必须返回 平均损失作为第一个返回值,因为它会被后面反向传播算法所用到。

优化器选择的是 SGD(随机梯度下降)optimizer,其中 learning_rate 是学习率,与网络的训练收敛速度有关系。代码如下:

#定义张量变量x,表示14维的特征值 x = fluid.layers.data(name='x', shape=[14], dtype='float32') #定义张量y,表示1维的目标值 y = fluid.layers.data(name='y', shape=[1], dtype='float32') #定义一个简单的线性网络,连接输入和输出的全连接层 #input:输入tensor; #size:该层输出单元的数目 #act:激活函数 y_predict=fluid.layers.fc(input=x,size=1,act=None) cost = fluid.layers.square_error_cost(input=y_predict, label=y) #求一个batch的损失值 avg_cost = fluid.layers.mean(cost)   optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001) opts = optimizer.minimize(avg_cost)

开始训练

请使用如下代码开始训练,其中EPOCH_NUM为模型的训练轮数,这个数量要适中,否则可能发生过拟合等问题

model_save_dir:模型的保存目录,保存下来,下次就可以继续训练或者直接推理了。

for pass_id in range(EPOCH_NUM):                                  #训练EPOCH_NUM轮     # 开始训练并输出最后一个batch的损失值     train_cost = 0     for batch_id, data in enumerate(train_reader()):              #遍历train_reader迭代器         train_cost = exe.run(program=fluid.default_main_program(),#运行主程序                              feed=feeder.feed(data),              #喂入一个batch的训练数据,根据feed_list和data提供的信息,将输入数据转成一种特殊的数据结构                              fetch_list=[avg_cost])             if batch_id % 40 == 0:             print("Pass:%d, Cost:%0.5f" % (pass_id, train_cost[0][0]))    #打印最后一个batch的损失值         iter=iter+BATCH_SIZE         iters.append(iter)         train_costs.append(train_cost[0][0])     # 开始测试并输出最后一个batch的损失值     test_cost = 0     for batch_id, data in enumerate(test_reader()):               #遍历test_reader迭代器         test_cost= exe.run(program=test_program, #运行测试cheng                             feed=feeder.feed(data),               #喂入一个batch的测试数据                             fetch_list=[avg_cost])                #fetch均方误差     print('Test:%d, Cost:%0.5f' % (pass_id, test_cost[0][0]))     #打印最后一个batch的损失值

训练过程图:

模型预测


需要构建一个使用训练好的模型来进行预测的程序,训练好的模型位置在 model_save_dir 。

with fluid.scope_guard(inference_scope):#修改全局/默认作用域(scope), 运行时中的所有变量都将分配给新的scope。     #从指定目录中加载 推理model(inference model)     [inference_program,                             #推理的program      feed_target_names,                             #需要在推理program中提供数据的变量名称      fetch_targets] = fluid.io.load_inference_model(#fetch_targets: 推断结果                                     model_save_dir, #model_save_dir:模型训练路径                                      infer_exe)      #infer_exe: 预测用executor     #获取预测数据     infer_reader = paddle.batch(reader_creator(test_data),  #测试数据                           batch_size=20)                #从测试数据中读取一个大小为20的batch数据     #从test_reader中分割x     test_data = next(infer_reader())     test_x = np.array([data[0] for data in test_data]).astype("float32")     test_y= np.array([data[1] for data in test_data]).astype("float32")     results = infer_exe.run(inference_program,                #预测模型     feed={feed_target_names[0]: np.array(test_x)},  #输入光谱数据     fetch_list=fetch_targets)            #得到推测含量

将结果进行可视化,横轴为实际含量,纵轴为根据光谱预测的含量,大部分得结果还是比较接近得。至此,我们获得了通过光谱看到土壤中某物质含量的火眼金睛啦!高光谱反演的用途还有许多,快快在AI Studio中fork项目展示出你的创意吧:

https://aistudio.baidu.com/aistudio/projectdetail/693750/

如在使用过程中有问题,可加入飞桨官方QQ群进行交流:1108045677。

如果您想详细了解更多飞桨的相关内容,请参阅以下文档。


飞桨官网地址:


https://www.paddlepaddle.org.cn/

飞桨开源框架项目地址:

GitHub: 

https://github.com/PaddlePaddle/Paddle 

Gitee: 

https://gitee.com/paddlepaddle/Paddle

飞桨PaddlePaddle
飞桨PaddlePaddle

飞桨(PaddlePaddle)是中国首个自主研发、功能完备、开源开放的产业级深度学习平台。

https://www.paddlepaddle.org
专栏二维码
工程高光谱反演百度飞桨
相关数据
激活函数技术

在 计算网络中, 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。 一种函数(例如 ReLU 或 S 型函数),用于对上一层的所有输入求加权和,然后生成一个输出值(通常为非线性值),并将其传递给下一层。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

学习率技术

在使用不同优化器(例如随机梯度下降,Adam)神经网络相关训练中,学习速率作为一个超参数控制了权重更新的幅度,以及训练的速度和精度。学习速率太大容易导致目标(代价)函数波动较大从而难以找到最优,而弱学习速率设置太小,则会导致收敛过慢耗时太长

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在 维空间内,有 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。称为该张量的秩或阶(与矩阵的秩和阶均无关系)。 在数学里,张量是一种几何实体,或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达,记作标量的数组,但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中,表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了,它们都是二阶张量,对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

验证集技术

验证数据集是用于调整分类器超参数(即模型结构)的一组数据集,它有时也被称为开发集(dev set)。

反向传播算法技术

反向传播(英语:Backpropagation,缩写为BP)是“误差反向传播”的简称,是一种与最优化方法(如梯度下降法)结合使用的,用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。 在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算(并缓存)每个节点的输出值,然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

线性回归技术

在现实世界中,存在着大量这样的情况:两个变量例如X和Y有一些依赖关系。由X可以部分地决定Y的值,但这种决定往往不很确切。常常用来说明这种依赖关系的最简单、直观的例子是体重与身高,用Y表示他的体重。众所周知,一般说来,当X大时,Y也倾向于大,但由X不能严格地决定Y。又如,城市生活用电量Y与气温X有很大的关系。在夏天气温很高或冬天气温很低时,由于室内空调、冰箱等家用电器的使用,可能用电就高,相反,在春秋季节气温不高也不低,用电量就可能少。但我们不能由气温X准确地决定用电量Y。类似的例子还很多,变量之间的这种关系称为“相关关系”,回归模型就是研究相关关系的一个有力工具。

随机梯度下降技术

梯度下降(Gradient Descent)是遵循成本函数的梯度来最小化一个函数的过程。这个过程涉及到对成本形式以及其衍生形式的认知,使得我们可以从已知的给定点朝既定方向移动。比如向下朝最小值移动。 在机器学习中,我们可以利用随机梯度下降的方法来最小化训练模型中的误差,即每次迭代时完成一次评估和更新。 这种优化算法的工作原理是模型每看到一个训练实例,就对其作出预测,并重复迭代该过程到一定的次数。这个流程可以用于找出能导致训练数据最小误差的模型的系数。

遥感技术

遥感(remote sensing)是指非接触的、远距离的探测技术。一般指运用传感器/遥感器探测物体的电磁波辐射、反射特性。遥感通过遥感器这类对电磁波敏感的仪器,在远离目标和非接触目标物体条件下探测目标。

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

批次技术

模型训练的一次迭代(即一次梯度更新)中使用的样本集。

优化器技术

优化器基类提供了计算梯度loss的方法,并可以将梯度应用于变量。优化器里包含了实现了经典的优化算法,如梯度下降和Adagrad。 优化器是提供了一个可以使用各种优化算法的接口,可以让用户直接调用一些经典的优化算法,如梯度下降法等等。优化器(optimizers)类的基类。这个类定义了在训练模型的时候添加一个操作的API。用户基本上不会直接使用这个类,但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer(tensorflow下的优化器包)等等这些算法。

百度机构

百度是全球最大的中文搜索引擎,是一家互联网综合信息服务公司,更是全球领先的人工智能平台型公司。2000年1月1日创立于中关村,公司创始人李彦宏拥有“超链分析”技术专利,也使中国成为美国、俄罗斯、和韩国之外,全球仅有的4个拥有搜索引擎核心技术的国家之一。

https://www.baidu.com/
推荐文章
暂无评论
暂无评论~