Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

降低20%成本,国内首个GPU可用区上线

2015年,UCloud在国内云厂商中首先推出了K80-GPU云主机。此后,我们又相继推出了P40、V100等GPU云主机、定制化物理机以及UAI-Train、UAI-Inference等以GPU为基础的AI产品,为人工智能用户持续创造价值。如今,我们更进一步,推出专门的GPU可用区。通过对架构精裁,其相比于普通可用区,GPU价格降低20%,带宽价格降低64%,并支持10G/25G物理网络和VPC私有网络,凭借独享性能、丰富产品互联、自助购买、按月租赁,帮助用户避免自行维护GPU集群做AI训练的高昂投入。

目前,福建GPU可用区A已对全部用户开放,并支持在控制台直接购买下单。

降低20%成本,支持按月付费

GPU使用成本高,一方面是GPU卡本身非常昂贵,另一方面功耗与机柜成本几乎占据了整体成本的40%,而这部分成本可以被有效降低。为此UCloud在国内臻选电力成本较低且符合基础标准的机房建立GPU可用区。此次上线的GPU可用区位于福建省,为省级骨干IDC机房,符合国际数据中心标准Tier3,提供移动线路。

UCloud的云计算核心原本为标准可用区设计,目的是支撑上万级别的服务器,近百种不同的云计算服务。为了提升整体性价比,我们花费1周时间,便对GPU可用区快速进行了定制,推出了一个全新版本的迷你型云计算核心,内部代号“蚂蚁”。“蚂蚁”核心压缩了超过50%的云控制面成本,依然能支撑起完整的物理云主机与网络产品并提供稳定的服务。

受益于功耗、机柜、云计算核心摊销成本的降低,GPU可用区的物理云单价比UCloud其他标准可用区都要便宜20%。以V100物理云为例,GPU可用区在北京二可用区E的列表单价降低5000元/月,和业内相比也有突出的价格优势。UCloud亦提供更具性价比的GPU机型可供选择。

厂商配置
UCloud48核 / 256G 内存 /  4000G SSD存储 / 4*V100
国内厂商140核 / 160G 内存 /  4000G SSD存储 / 4*V100
国内厂商232核 / 128G 内存 /  4000G SSD存储 / 4*V100
AWS32核 / 244G 内存 /  4000G SSD存储 / 4*V100

GPU可用区的计费模式与其他可用区一致,物理机支持按月与按年付费,可随时释放。用户不必一次性投入巨大的开支,可自如增减集群规模,应对市场的动态变化。此外,福建GPU可用区提供移动单线网络,带宽费用比其他可用区降低64%。

最大单精浮点性能104 TFLOPs,独享物理机

GPU可用区以成熟的物理云产品体系为依托。计算、存储、网络性能均没有任何虚拟化带来的额外开销。这对AI训练这样看重绝对性能的场景非常重要。

一台GPU物理机最大能支持104 TFLOPs的单精度浮点性能,约等于2000颗CPU的算力。采用10G与25G两套物理网络环境。25G网络带来更高的集群运算效率,集群规模≥10台计算节点时,均推荐采用25G。和普通可用区提供的GPU云主机相比,整体性能翻倍。


最大单精度浮点性能网络带宽
GPU物理机104 TFLOPs25G
GPU型-P40云主机48 TFLOPs10G
GPU型-K80云主机14 TFLOPs10G

物理云主机产品已实现后台资源交付入库、系统装机等流程高度自动化,并支持多种镜像、多种RAID模式可选。用户直接在控制台点选后就自动执行装机操作,30分钟内装机完成即可使用,免去传统物理机运输、搭建、部署、调试等冗长过程。

图:物理云主机装机中

针对物理机难以避免的硬件故障隐患,UCloud硬件运维团队维护了详细的固件问题列表,发现隐患会及时发起固件的全网升级;物理云主机在交付用户前、用户退还机器后均会自动执行完整的硬件检测。此外物理云集成了UCloud监控平台,通过监控提前发现磁盘故障、GPU卡温度过高等硬件问题,并通知NOC团队快速处理(7*24小时)。

GPU物理云的网关有A/B两套互备集群,网络流量可在AB集群之间平滑切换。由于此架构,在主网关出现故障时能实现快速切换到备用网关,最小化对用户的影响;亦能通过集群切换实现网络架构的平滑升级。通过这套模式,北京地区的物理云集群实现了从10G网关到25G网关的在线动态升级,用户除了低峰期网络瞬断外完全无感知。未来GPU可用区的网关也能通过这种能力不断更新版本。

物理云网关互备集群

丰富的产品互联

GPU可用区支持标准的网络产品,包括弹性EIP、私有网络VPC、NAT网关等。未来计划将上线高速通道UDPN,和广州可用区互联。

在AI训练场景下,TB级别的训练数据如何搬迁上云是用户的核心诉求。UCloud提供高性能NAS盘柜寄送服务,可支持最大100T的离线数据搬迁,传输作业完成后,会以低阶格式化方式擦除数据,以确保数据安全。

分布式训练场景下通常需要大容量的中央存储节点。GPU可用区目前提供SSD磁盘的高性能物理机作为存储节点。后续将提供UFS(分布式文件存储)产品,给用户提供最优的存储选择。

UCloud技术
UCloud技术

分享UCloud的技术创新、架构设计、实践总结,内容同步于微信公众号“UCloud技术公告牌”

https://www.ucloud.cn/
专栏二维码
产业GPUUCloud
2
暂无评论
暂无评论~