近日,国际权威研究与咨询公司Forrester发布报告——《人工智能变革欺诈管理》,报告列举了多项应用于反欺诈领域的人工智能技术,包括知识图谱、监督学习等,并且首次提到了联邦学习的相关实践。
Forrester长期致力于技术趋势与商业化的调研与洞察,其发布的报告为众多企业战略布局提供重要指导作用。在过去的36年中,是公认的全球最具影响力的独立调研公司之一。
此次Forrester发布的报告中提到:“联邦学习是一种新型人工智能运用模式……通过交换加密的模型参数,帮助企业建立跨组织的模型“,对联邦学习在反欺诈领域所发挥的作用予以了肯定。报告还以微众银行为例,列举了联邦学习在反欺诈领域的相关实践,“微众银行运用联邦学习技术进行商业银行合作,将模型性能提高了13%”。
关于报告中提到的联邦学习技术,Forrester研究员认为:该技术对于提高跨机构合作效率帮助很大,目前仍处于早期发展阶段,未来可期。
突破小数据限制 联邦学习成为人工智能发展新方向
联邦学习是什么?何以成为Forrester技术洞察中的重要技术方向之一?
如果将人工智能比作一辆高速运转的汽车,数据就是推动其运转的“燃油”。理想状态下,用于人工智能训练的数据应该是“量大质优,有标签”,以便人工智能模型高效训练。但现实的行业场景中,高质量“大数据”往往是稀缺资源。例如在医疗场景里,每个医院的数据集有限,如果不能把这些数据打通,每个数据集就只能做简单的模型,远远达不到辅助医生进行疾病预测的要求。尤其是场景数据随着时间的推移,特征还会随之变化。
另外,行业竞争也使企业往往习惯于将数据封锁在隔离墙内,而随着保护数据隐私的法律法规日趋完善,数据的搜集与交换变得更加困难,形成了一个个“数据孤岛”。
而联邦学习技术的提出,为突破这个难题创造了极大可能性。
何为联邦学习?可以将其简单比喻成两个人合作创作一本书,每个人的大脑里都有数据,但并不需要将两人的脑袋进行物理结合,只需要每人写一部分,通过交流最后完成合著。这个过程,就是通过交流参数,达到共建模型的目的。而整个过程中,双方并不知道对方的具体数据。
在金融反欺诈领域,目前中国征信业的发展困境之一便是小数据难题。数据显示,目前中国央行个人征信记录覆盖率仅为35%。更多可利用的有效数据,如消费记录、交通出行记录等,却封闭在各家企业的数据墙内,难以打通。运用联邦学习技术,可以在保护用户数据的情况下,将能证明个人信用的不同维度数据纳入联合风控建模,从而对个人财务状况和信用进行全维度模型评估。整个过程,因为同态加密等加密技术的保驾护航,数据始终处于暗箱状态,安全保密。
不止金融 联邦学习在各领域落地生根
由于联邦学习解决了数据孤岛与隐私保护两大难道,成为近年来人工智能领域炙手可热的研究方向,联邦学习技术落地应用项目不断涌现,发展迅速,已经有不少企业利用联邦学习技术做出了实际成绩。
在国内,首倡联邦学习概念的微众银行通过将联邦学习用于反欺诈、智能服务、营销、零售等多个领域,取得了显著效果。其中自研的智能评分引擎在纵向联邦学习技术的基础上,联合开票金额与央行的征信数据等标签属性共同建模,将小微企业风控模型区分度(AUC of ROC)提升了12%。
在实践落地应用之外,微众银行积极推动联邦学习生态建设,牵头国际标准制定、举办学术国际研讨会、并开源了全球首个工业级联邦学习框架FATE(Federated AI Technology Enabler)。该框架支持多种主流算法,适配多种多方安全计算协议,简化了使用门槛,对开发者更为友好。目前FATE被纳入全球最大非营利技术社区Linux Foundation、与腾讯云等多家企业和单位达成合作,对壮大联邦学习开发社区做出了巨大贡献。
联邦学习丰富的应用场景,吸引了众多企业参与其中。
FaceBook的深度学习框架PyTorch,目前已经支持采用联邦学习方案来实现隐私保护,并同步推出Secure and Private AI,将联邦学习技术应用到了消费者领域;平安科技推出联邦学习平台“蜂巢”;京东在智慧城市领域探索联邦学习的落地应用。
除了头部企业,该领域也涌现了不少创业公司,如S20.ai、Owkin和Snips,都围绕联邦学习创建了新的工具和企业解决方案。
越来越多的企业参与到了联邦学习理论标准与行业应用的建设中来,联邦学习势必会迎来更广阔的前景。在隐私保护法律法规日益趋紧的态势之下,数据利用面临重大挑战,也为联邦学习的推广创造了一个机遇。未来5G通信以及AI芯片等技术手段的突破,使终端设备在通信稳定性和算力方面进一步提升,将为联邦学习进一步发展奠定深厚的技术基础。在各行各业的加入之下,在数据孤岛之上构建起安全数据联盟的未来可期。