市北·GMIS 2019 | 阿里巴巴资深技术专家张迪:当深度学习遇上超大规模工业级应用
7 月 20 日下午,阿里巴巴资深技术专家、阿里妈妈事业部大数据和机器学习平台负责人张迪介绍了深度学习与图表征神经网络在淘宝搜索、推荐、广告中的超大规模应用。用户在淘宝上的行为是非常复杂的,包括浏览、收藏、购买等,电商广告面临的挑战是如何洞察用户的兴趣习惯,推荐个性化的产品。而随着深度学习的引入,网络变得越来越复杂,新的挑战是,广告推荐场景以特征为主,一方面高维稀疏特征导致模型非常大,往往达数百 G 甚至上 T 规模;另一方面,相比 CV 场景,广告推荐场景在参数规模、样本规模上都要大一两个数量级,参数通常达千亿规模,样本通常达千亿到万亿规模,所以必须要做一个全局设计保证计算芯片高效率运行。阿里打造了高维稀疏场景的深度学习框架,并提供非常多的训练模式,进行分布式模型存储等,来优化推荐模型,比如推荐场景下使用的这种结构化训练范式,可将训练性能提高 4~5 倍。