不到1000行代码,GitHub 1400星,天才黑客开源深度学习框架tinygrad

最近,天才黑客 George Hotz 开源了一个小型深度学习框架 tinygrad,兼具 PyTorch 和 micrograd 的功能。tinygrad 的代码数量不到 1000 行,目前该项目获得了 GitHub 1400 星。

深度学习时代,谷歌、Facebook、百度等科技巨头开源了多款框架来帮助开发者更轻松地学习、构建和训练不同类型的神经网络。而这些大公司也花费了很大的精力来维护 TensorFlow、PyTorch 这样庞大的深度学习框架。

除了这类主流框架之外,开发者们也会开源一些小而精的框架或者库。比如今年 4 月份,特斯拉人工智能部门主管 Andrej Karpathy 开源了其编写的微型 autograd 引擎 micrograd,该引擎还用 50 行代码实现了一个类 PyTorch api 的神经网络库。目前,micrograd 项目的 GitHub star 量达到 1200 星。

不久前,天才黑客 George Hotz(乔治 · 霍兹)开源了一个小型 Autograd Tensor 库 tinygrad,它介于 PyTorch 和 micrograd 之间,能够满足做深度学习的大部分要求。上线不到一个月,该项目在 GitHub 上已经获得 1400 星。


项目地址:https://github.com/geohot/tinygrad

根据 GitHub 内容,下文对 tinygrad 的安装与使用做了简要介绍。感兴趣的同学也可通过 George Hotz 的 YouTube 视频进行学习。


视频地址:https://www.youtube.com/channel/UCwgKmJM4ZJQRJ-U5NjvR2dg

tinygrad 的安装与使用

「tinygrad 可能不是最好的深度学习框架,但它确实是深度学习框架。」

George 在项目中保证,tinygrad 代码量会永远小于 1000 行。

安装

tinygrad 的安装过程非常简单,只需使用以下命令:

pip3 install tinygrad --upgrade

示例

安装好 tinygrad 之后,就可以进行示例运行,代码如下:

from tinygrad.tensor import Tensorx = Tensor.eye(3)y = Tensor([[2.0,0,-2.0]])z = y.matmul(x).sum()z.backward()print(x.grad)  # dz/dxprint(y.grad)  # dz/dy

使用 torch 的代码如下:

import torchx = torch.eye(3, requires_grad=True)y = torch.tensor([[2.0,0,-2.0]], requires_grad=True)z = y.matmul(x).sum()z.backward()print(x.grad)  # dz/dxprint(y.grad)  # dz/dy


满足对神经网络的需求

一个不错的 autograd 张量库可以满足你对神经网络 90%的需求。从 tinygrad.optim 添加优化器(SGD、RMSprop、Adam),再编写一些 minibatching 样板代码,就可以实现你的需求。

示例如下:

from tinygrad.tensor import Tensorimport tinygrad.optim as optimfrom tinygrad.utils import layer_init_uniformclass TinyBobNet:  def __init__(self):    self.l1 = Tensor(layer_init_uniform(784, 128))    self.l2 = Tensor(layer_init_uniform(128, 10))  def forward(self, x):    return x.dot(self.l1).relu().dot(self.l2).logsoftmax()model = TinyBobNet()optim = optim.SGD([model.l1, model.l2], lr=0.001)# ... and complete like pytorch, with (x,y) dataout = model.forward(x)loss = out.mul(y).mean()loss.backward()optim.step()


支持 GPU

tinygrad 通过 PyOpenCL 支持 GPU。但后向传播暂时无法支持所有 ops。

from tinygrad.tensor import Tensor(Tensor.ones(4,4).cuda() + Tensor.ones(4,4).cuda()).cpu()


ImageNet 推断

「麻雀虽小,五脏俱全。」tinygrad 还能够支持 full EfficientNet,输入一张图像,即可得到其类别。

ipython3 examples/efficientnet.py https://upload.wikimedia.org/wikipedia/commons/4/41/Chicken.jpg

如果你安装了 webcam 和 cv2,则可以使用以下代码:

ipython3 examples/efficientnet.py webcam

注意:如果你想加速运行,设置 GPU=1。

测试

运行以下代码可执行测试:

python -m pytest

此外,乔治 · 霍兹还计划添加语言模型、检测模型,进一步减少代码量、提升速度等。


天才黑客乔治 · 霍兹


该项目的创建者是著名黑客乔治 · 霍兹,别号 Geohot。

他于 1989 年出生在美国新泽西州,曾就读于罗切斯特理工学院生物工程专业和卡内基梅隆大学计算机科学系。

然而,乔治 · 霍兹在自己的 LinkedIn 主页上教育经历描述里是这么写的:


在罗切斯特理工学院就读期间,他的社团活动是「在宿舍黑 iPhone」…… 

这是他著名的黑客经历之一。2007 年,17 岁的乔治 · 霍兹成功破解 iPhone 手机,使手机不再局限于 AT&T 网络,而是支持其他 GSM 网络。2009 年,他开发出一款针对 iOS 3.1.2 的越狱软件 blackra1n。2010 年,乔治 · 霍兹宣布不再进行越狱软件的开发。

然而,他的黑客行动并未停止。

2009 年起,乔治 · 霍兹开始破解 PlayStation 3(PS3)。2010 年初,他宣布得到了 PS3 系统内存的读写权限和处理器的高级控制权。2011 年 3 月,乔治 · 霍兹被索尼起诉,后和解。

此外,乔治 · 霍兹还破解过三星手机等产品。

就工作经历而言,他曾在谷歌、Facebook、SpaceX 工作过。目前,他在自己创立的自动驾驶公司 comma.ai 任职。

2015 年,乔治 · 霍兹创立了人工智能创业公司 comma.ai,旨在基于机器学习算法构建自动驾驶技术。乔治 · 霍兹开发出自动驾驶套件 Comma One,只需 1000 美元,用户就能将传统汽车升级成自动驾驶版本。不过,后来这一计划被取消。

2020 年,在 CES 大会上,comma.ai 展出了其最新产品——辅助驾驶设备 Comma Two,售价 999 美元。

comma.ai 公司还开源了辅助驾驶系统 openpilot,参见:https://github.com/commaai/openpilot。

参考链接:https://zh.wikipedia.org/wiki/%E4%B9%94%E6%B2%BB%C2%B7%E9%9C%8D%E5%85%B9
https://en.m.wikipedia.org/wiki/George_Hotz
工程深度学习框架
1
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

推荐文章
刚看了一下 Youtube上面的live coding,牛人真是牛人呀