Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

邵洲作者数据挖掘、学者迁徙研究研究兴趣

Keras中几个重要函数用法

Keras的核心数据结构是“模型”,模型是一种组织网络层的方式。Keras中主要的模型是Sequential模型,Sequential是一系列网络层按顺序构成的栈。你也可以查看泛型模型来学习建立更复杂的模型。

Keras中几个重要函数用法

模块需导入包:

  1. from keras.models import Sequential  

  2. from keras.layers import Dense, Dropout, Activation, Flatten  

  3. from keras.layers.convolutional import Conv2D  

  4. from keras.layers.pooling import MaxPooling2D  

  5. from keras.layers import Embedding, LSTM  

  6. from keras.utils import np_utils  

  7. from keras.datasets import mnist

激活函数有如下几种类型可选:

softmax、elu、softplus、softsign、relu、tanh、sigmoid、hard_sigmoid、linear

Dense(全连接层)

Dense层(https://keras-cn.readthedocs.io/en/latest/layers/core_layer/)

  1. keras.layers.core.Dense ( units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None  )  

units:大于0的整数,代表该层的输出维度。 activation:激活函数,为预定义的激活函数名(参考激活函数),或逐元素(element-wise)的Theano函数。如果不指定该参数,将不会使用任何激活函数(即使用线性激活函数:a(x)=x) usebias: 布尔值,是否使用偏置项 kernelinitializer:权值初始化方法,为预定义初始化方法名的字符串,或用于初始化权重的初始化器。参考initializers bias_initializer:权值初始化方法,为预定义初始化方法名的字符串,或用于初始化权重的初始化器。参考initializers

Keras模型保存

我们不推荐使用pickle或cPickle来保存Keras模型。

你可以使用model.save(filepath)将Keras模型和权重保存在一个HDF5文件中,该文件将包含:

  • 模型的结构,以便重构该模型

  • 模型的权重

  • 训练配置(损失函数优化器等)

  • 优化器的状态,以便于从上次训练中断的地方开始

使用keras.models.load_model(filepath)来重新实例化你的模型,如果文件中存储了训练配置的话,该函数还会同时完成模型的编译

例子:

  1. from keras.models import load_model

  2. model.save('my_model.h5')  # creates a HDF5 file 'my_model.h5'

  3. del model  # deletes the existing model

  4. # returns a compiled model

  5. # identical to the previous one

  6. model = load_model('my_model.h5')

如果你只是希望保存模型的结构,而不包含其权重或配置信息,可以使用:

  1. # save as JSON

  2. json_string = model.to_json()

  3. # save as YAML

  4. yaml_string = model.to_yaml()

这项操作将把模型序列化为json或yaml文件,这些文件对人而言也是友好的,如果需要的话你甚至可以手动打开这些文件并进行编辑。

当然,你也可以从保存好的json文件或yaml文件中载入模型:

  1. # model reconstruction from JSON:

  2. from keras.models import model_from_json

  3. model = model_from_json(json_string)

  4. # model reconstruction from YAML

  5. model = model_from_yaml(yaml_string)

如果需要保存模型的权重,可通过下面的代码利用HDF5进行保存。注意,在使用前需要确保你已安装了HDF5和其Python库h5py

  1. model.save_weights('my_model_weights.h5')

  2. 如果你需要在代码中初始化一个完全相同的模型,请使用:

  3. model.load_weights('my_model_weights.h5')

如果你需要加载权重到不同的网络结构(有些层一样)中,例如fine-tune或transfer-learning,你可以通过层名字来加载模型:

  1. model.load_weights('my_model_weights.h5', by_name=True)

例如:

  1. """

  2. 假如原模型为:

  3.    model = Sequential()

  4.    model.add(Dense(2, input_dim=3, name="dense_1"))

  5.    model.add(Dense(3, name="dense_2"))

  6.    ...

  7.    model.save_weights(fname)

  8. """

  9. # new model

  10. model = Sequential()

  11. model.add(Dense(2, input_dim=3, name="dense_1"))  # will be loaded

  12. model.add(Dense(10, name="new_dense"))  # will not be loaded

  13. # load weights from first model; will only affect the first layer, dense_1.

  14. model.load_weights(fname, by_name=True)

可视化

使用方式

keras.utils.vis_utils模块提供了画出Keras模型的函数(利用graphviz)

该函数将画出模型结构图,并保存成图片:

  1. from keras.utils import plot_model

  2. plot_model(model, to_file='model.png')

具体可参考:可视化visualization(https://keras-cn.readthedocs.io/en/latest/other/visualization/)

解决办法

  • 首先,安装pip安装pygot和graphviz之后,运行上面的可视化代码仍然报错

  • 查询说是Windows下面只能采用安装包的方式进行安装,不能pip安装.....

最终,费了很大的周折之后,终于找到解决办法:

  • 首先,安装graphviz(官方下载网址:https://graphviz.gitlab.io/_pages/Download/Download_windows.html),然后在环境变量里面配置其路径(好像也没有什么用)

  • 然后在代码里面设置如下:

  1. import os

  2. os.environ["PATH"] += os.pathsep + 'D:/install/Program Files (x86)/Graphviz2.38/bin/'

  3. plot_model(model, to_file='model.png', show_shapes=True, show_layer_names=True)

OK,终于成功了。期间还涉及到说按照graphviz->grapphviz软件本身->pydot的顺序按照软件什么的,但是问题并没有解决,还是得在程序中引入地址。

参考文献

  • Keras中文文档:https://keras-cn.readthedocs.io/en/latest/for_beginners/concepts/

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
入门KerasLSTM激活函数损失函数
9
相关数据
池化技术

池化(Pooling)是卷积神经网络中的一个重要的概念,它实际上是一种形式的降采样。有多种不同形式的非线性池化函数,而其中“最大池化(Max pooling)”是最为常见的。它是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。直觉上,这种机制能够有效的原因在于,在发现一个特征之后,它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小,因此参数的数量和计算量也会下降,这在一定程度上也控制了过拟合。通常来说,CNN的卷积层之间都会周期性地插入池化层。

激活函数技术

在 计算网络中, 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。 一种函数(例如 ReLU 或 S 型函数),用于对上一层的所有输入求加权和,然后生成一个输出值(通常为非线性值),并将其传递给下一层。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

Dropout技术

神经网络训练中防止过拟合的一种技术

重构技术

代码重构(英语:Code refactoring)指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。 软件重构需要借助工具完成,重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中,重构需要单元测试来支持。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

长短期记忆网络技术

长短期记忆(Long Short-Term Memory) 是具有长期记忆能力的一种时间递归神经网络(Recurrent Neural Network)。 其网络结构含有一个或多个具有可遗忘和记忆功能的单元组成。它在1997年被提出用于解决传统RNN(Recurrent Neural Network) 的随时间反向传播中权重消失的问题(vanishing gradient problem over backpropagation-through-time),重要组成部分包括Forget Gate, Input Gate, 和 Output Gate, 分别负责决定当前输入是否被采纳,是否被长期记忆以及决定在记忆中的输入是否在当前被输出。Gated Recurrent Unit 是 LSTM 众多版本中典型的一个。因为它具有记忆性的功能,LSTM经常被用在具有时间序列特性的数据和场景中。

优化器技术

优化器基类提供了计算梯度loss的方法,并可以将梯度应用于变量。优化器里包含了实现了经典的优化算法,如梯度下降和Adagrad。 优化器是提供了一个可以使用各种优化算法的接口,可以让用户直接调用一些经典的优化算法,如梯度下降法等等。优化器(optimizers)类的基类。这个类定义了在训练模型的时候添加一个操作的API。用户基本上不会直接使用这个类,但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer(tensorflow下的优化器包)等等这些算法。

推荐文章
暂无评论
暂无评论~