Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

Knock Knock!你的模型已训练完成……

训练出了问题你却不知道?训练结束了你还在傻傻等待?这里有一个好用的工具,两行代码即可实时通知模型训练状况。本文介绍了一个小型的代码库 Knock Knock,当你的模型训练完成或者训练过程出现问题时,它会及时通知你。而你只需要写两行代码。

项目地址:https://github.com/huggingface/knockknock

在训练深度学习模型时,我们通常会使用早停法。除了粗略的估计,你很难预测出训练什么时候会结束。因此,为模型训练设置自动通知就很有意思了。而且当训练因为未知原因而中途崩溃时,收到通知就更重要了。

安装

用 pip 或类似的工具安装。

pip install .

该代码仅用 Python3.6 测试过。

使用

该库可无缝使用,只需对代码做最小的修改:你只需在主函数调用上加一个装饰器。

现在有两种设置通知的方式:邮件和 Slack。

邮件

邮件服务要依赖 Yagmail,这是一个 GMAIL/SMTP 客户端。你需要一个 gmail 邮件地址来使用它。最好创建一个新的邮件地址(不要使用常用地址),因为你需要修改账户的安全设置,以允许该 Python 库打开不太安全的 APP(选中 Allow less secure apps)进而访问它。

from knockknock import email_sender
@email_sender(recipient_email: "<your_email@address.com>", sender_email: "<grandma's_email@gmail.com>")def train_your_nicest_model(your_nicest_parameters):
    import time
    time.sleep(10000)

如果未指定 sender_email,则 recipient_email 也可以用于发送邮件。

注意,启用此功能会向你询问发件人的邮箱密码。密码将通过 keyring Python 库被安全地存储在系统 keyring 服务中。

Slack

你还可以使用 slack 来获取通知。你必须提交 Slack 房间的 webhook URL 和用户 id(用户 id 为可选项,如果你想添加自己或其他人则选择该项)。

from knockknock import slack_sender

webhook_url = "<webhook_url_to_your_slack_room>"@slack_sender(webhook_url=webhook_url, channel="<your_favorite_slack_channel>")def train_your_nicest_model(your_nicest_parameters):
    import time
    time.sleep(10000)

你还可以指定一个可选参数来添加特定的人:user_mentions=[<your_slack_id>, <grandma's_slack_id>]。

工程深度学习模型训练GitHub
4
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

推荐文章
暂无评论
暂无评论~