迎接5G时代,远传电信借助AI预测模型动态优化网络流量

一个夏日的夜晚,台湾远传电信在台南某地区网络流量突然暴增,发出告警,没有人预料到夜半时分的台南会迎来流量高峰。调查发现,当时 TikTok 刚刚在台南兴起,很多年轻人热衷于睡前用手机刷短视频,导致夜半时分的网络流量陡升。

为了更精准地提前掌握网络流量,让流量调度最优化,远传在2018年加入微软亚洲研究院“创新汇”,成为微软长期的 AI 战略合作伙伴,期望通过双方的紧密合作,运用微软在 AI 领域突破性的技术成果,结合远传长期布局物联网产业应用、大数据平台建设,以及强大的 ICT 整合实力,让双方的创新研发能力与行业经验形成优势互补。

远传与微软合作的重要成果之一,包含共同研发的 AI 网络流量预测模型,可以精准预测未来一周中每15分钟内核心基站、二级基站以及 OTT 服务的流量,实现网络流量的智能动态配置。

优化全网性能,
需要智能流量预测

远传一直致力于为用户提供多元化、丰富的优质体验和创新应用服务。远传电信总经理井琪表示:“电信行业竞争激烈,远传很早就启动了转型计划,确定了‘大人物’战略,即借助大数据、人工智能物联网技术去转型和创新。远传的 AI 策略是由内而外的:对内进行员工 AI 培训、培养 AI 人才、逐步强化 AI 产品;对外针对消费者和企业级客户,提供‘大人物’解决方案。通过内外兼具的 AI 策略,给客户提供最好的服务。”

微软亚洲研究院创新论坛2019上,微软亚洲研究院院长洪小文(左)为远传电信总经理井琪(右)颁发会员证书台湾地区的电信用户的网络使用量在全球名列前茅,经常会发生上文所提到的网络流量需求大增的情况,如何进行最有效的调度并优化网络,尤为关键。

在加入微软亚洲研究院创新汇以后,远传电信就着手收集公司各部门的痛点,并与微软亚洲研究院一起率先开启智能流量预测方面的探索。远传电信的工程师提出,希望设计一个智能流量预测模型,可以预测核心基站、二级基站的流量,以及每个基站上 Top 100 网站等 OTT 服务的流量。

由于不同地区用户的喜好不同,基站位置也不同,A 地区的用户可能偏爱某些短视频应用,而 B 地区的用户则爱用某些游戏或视频网站,就会使每个基站的流量因用户的偏好存在相当大的差异。

如果有了 AI 流量预测模型,就可以有效判断网络用户的上网行为,预测出某一地区、某一时段的用户可能使用的应用服务、观看的节目、进行的游戏,进而将用户所喜欢的内容推送到离他最近的网络节点上,甚至将用户常用的应用程序部署在靠近用户一端的节点上,大幅降低网络延迟,提升用户体验。此外,智能流量预测也能为远传电信 5G 基站选址提供更精准的依据。

传统的预测模型只能针对核心大基站进行线性的全流量预测,只有少量第三方的开源工具可以针对具体的网络应用流量进行预测,但准确率不高,无法提供有效的指导。“对于 AI 来说,做预测恰恰是它的强项,”微软亚洲研究院副院长刘铁岩博士表示,“近年来微软亚洲研究院通过‘创新汇’项目与行业领军企业合作,在金融、物流、医疗等领域都发挥出了 AI 的巨大潜能。我们相信,AI 也一定能够在优化电信网络、智能预测流量、提升电信服务性能等方面发挥独特作用,成为赋能电信领域的核心技术支撑。”

突破四大挑战,
破解流量预测难题

经过4个多月的努力,双方合作研究的 AI 流量预测模型效果显著:核心基站的 EPG 总流量预测准确率达99%;二级基站的 eNB 总流量预测准确率达90.5%;针对 Top 100 网站等 OTT 服务流量预测准确率达74%;可精准预测未来一周每15分钟内的流量。据微软亚洲研究院首席研究经理边江博士介绍,针对具体的网络环境,研究员们从四个方面突破挑战,通过 AI 技术大大提升了不同层级基站上不同服务的流量预测准确率

其一,创新神经网络实现超长序列建模。流量趋势具有明显的周期性,或天、或周、或月的某个时间段的某个应用服务会出现高峰,因此长时间序列模型的训练更容易找到其中的规律。而传统基于统计的方法不能有效利用较长时间的数据,对此,微软亚洲研究院采用了跨层链接的扩张循环神经网络(Dilated RNN + Skip Connections),在局部对数据进行跳跃式选取,确保了模型可以利用长时间数据进行建模。

其二,流量峰值预测,把握分寸最重要。为了达到最优的效果,AI 技术不仅需要精准预测出某段时间流量高峰的来临,而且还要确保预测的偏差值要稍微高于峰值,让流量配置有适当的冗余,但预测峰值也不宜过高,以免造成带宽资源的浪费。研究员们采用了两个函数来保证预测偏差值处于最佳状态,一个确保整体预测的准确度,另一个针对实际应用环境,将峰值适当向上偏移。在不同的网络环境下,两个函数进行加权组合,确保相应场景下的最合适的预测准确率

其三,数据抖动和噪声需正则化处理。不同基站上不同服务的属性差别相当大,例如一线城市需要经常访问海外搜索网站,三、四线城市对视频、游戏类应用的需求较大,不同属性的流量数据存在巨大差异,有着较大的抖动和噪声,而且部分数据的比例缺失,不利于模型学习。基于此,微软亚洲研究院针对不同基站节点和服务的数据进行正则化处理,使得在不同时间点训练模型时,数据都可以在相对一致的分布区间,保证模型在不同时间、不同信号上都能做到更加精确的学习。

其四,AI 技术与行业洞察相结合,更精准。基于远传电信专业人员的行业经验,双方建立了一个知识库,与多层次智能预测模型结合使用。例如运营人员会有些常规经验总结,类似 A 应用一般在中午12点左右出现流量高峰、B 搜索网站的峰值可能会是晚上7、8点钟等,行业洞察和经验积累与预测模型动态加权,更好地保证了整体流量预测的准确率

授人以鱼不如授人以渔

事实上,在解决业务难题的同时,微软亚洲研究院希望通过合作“授之以渔”,帮助合作伙伴具备 AI 的思维和能力。远传电信执行副总裁饶仲华表示:“远传电信一直在寻找将时间序列融入到机器学习中的突破点。此次超长建模的实现,让远传电信更好地掌握了将时间序列与神经网络模型关联的方法,这样的模型算法并不只局限于流量预测上,只要数据丰富,有大量的时间序列,举一反三之后,类似的 AI 模型可以解决更多与时间序列有关的业务问题。”

除此之外,远传电信对机器学习所需的数据也有了进一步的了解,对数据的收集、处理与存储也形成了较为系统的方法。“过去,我们认为原始数据只要做了数据清洗之后就可以使用,但事实远比想象的复杂,其中数据的收集手段、存储时间、规模大小、处理过程都会影响数据的品质,影响机器学习的训练进程,”远传电信执行副总裁饶仲华表示。以 AI 流量预测模型为例,预测周期为15天时,需要连续3、4个月的数据;周期为一年,就需要3、4年的数据,而并不是一个月或一年的数据就足够。“在与微软研究员的探讨中,我们也形成了良好的数据收集方式,为将来的 AI 模型训练奠定高质量的数据基础。”

数字化转型,心态和文化是核心

一直以来,远传电信都将用户体验放在第一位,希望可以让用户享受到更高质量的网络服务,提升用户满意度。

“远传电信坚信技术能够改变世界,所以我们从来没有停止探索新技术对于自身业务的提升。”远传电信总经理井琪表示,“很高兴与微软亚洲研究院合作,用 AI 预测通信网络流量场景,让我们看到了 AI 技术在电信行业的无限潜力。”

微软亚洲研究院副院长刘铁岩表示,“为了将 AI 与电信场景相结合,远传电信和微软亚洲研究院在多个业务领域做过探讨,AI 流量预测模型的成功合作得益于远传电信一直以来对于数字化转型战略的坚持。此次合作开启了双方在 AI+电信领域的携手创新,同时也是远传电信在数字化转型路上的诸多里程碑之一。”

在新冠疫情席卷全球、颠覆人们生活和工作方式的今天,越来越多的企业意识到数字化转型的重要性和紧迫性。而多年前就开始进行数字化转型的远传电信认识到,企业转型的最大挑战和核心,是心态和文化上的转变,这需要管理者具有强大的领导力和魄力,能够引领所有员工达成共识,才能使转型顺利进行。同时,企业数字化转型还需要从上至下、由内而外、从人才文化到组织架构全方位做好准备。

“在转型的过程中,远传电信不断提升自身的能力以及核心价值。未来,我们将持续利用大数据、人工智能物联网技术转型成为数字化企业。我们希望通过与微软亚洲研究院持续合作,探索数据驱动的新服务,利用数据模型增值现有应用,深耕 AIoT 领域,时刻准备好迎接新机遇。”远传电信总经理井琪表示。

微软研究院AI头条
微软研究院AI头条

专注科研19年,盛产黑科技

产业AI网络流5G远传电信
相关数据
微软亚洲研究院机构

微软亚洲研究院于1998年在北京成立,是微软公司在亚太地区设立的基础及应用研究机构,也是微软在美国本土以外规模最大的一个研究院。微软亚洲研究院从事自然用户界面、智能多媒体、大数据与知识挖掘、人工智能、云和边缘计算、计算机科学基础等领域的研究,致力于推动计算机科学前沿发展,着眼下一代革命性技术的创新,助力微软实现长远发展战略。通过与微软产品部门紧密合作,微软亚洲研究院将众多创新技术转移到了微软的核心产品中,如Office、Windows、Azure、Bing、Visual Studio、Xbox Kinect以及小冰、Cortana和Microsoft Translator等人工智能产品。

https://www.msra.cn/
洪小文人物

微软公司资深副总裁,微软亚洲研究院院长。

刘铁岩人物

刘铁岩博士毕业于清华大学电子工程系。现任微软亚洲研究院主任研究员,互联网经济与计算广告学研究组负责人。他是美国计算机学会(ACM)、国际电子电气工程师学会(IEEE)、和中国计算机学会(CCF)的高级会员。中国科技大学和南开大学的客座教授。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源,如线程、进程或数据流;也可以指硬件资源,如处理器、网络连接或扩展卡。 进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态,允许多位用户有效地同时共享系统资源,或达到指定的服务质量。 see planning for more details

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

知识库技术

知识库是用于知识管理的一种特殊的数据库,以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家,它是求解问题所需领域知识的集合,包括基本事实、规则和其它有关信息。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

网络流技术

在图论中,网络流(英语:Network flow)是指在一个每条边都有容量(capacity)的有向图分配流,使一条边的流量不会超过它的容量。通常在运筹学中,有向图称为网络。顶点称为节点(node)而边称为弧(arc)。一道流必须匹配一个结点的进出的流量相同的限制,除非这是一个源点(source)──有较多向外的流,或是一个汇点(sink)──有较多向内的流。一个网络可以用来模拟道路系统的交通量、管中的液体、电路中的电流或类似一些东西在一个结点的网络中游动的任何事物。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

正则化技术

当模型的复杂度增大时,训练误差会逐渐减小并趋向于0;而测试误差会先减小,达到最小值后又增大。当选择的模型复杂度过大时,过拟合现象就会发生。这样,在学习时就要防止过拟合。进行最优模型的选择,即选择复杂度适当的模型,以达到使测试误差最小的学习目的。

物联网技术技术

物联网(英语:Internet of Things,缩写IoT)是互联网、传统电信网等信息承载体,让所有能行使独立功能的普通物体实现互联互通的网络。物联网一般为无线网,而由于每个人周围的设备可以达到一千至五千个,所以物联网可能要包含500兆至一千兆个物体。在物联网上,每个人都可以应用电子标签将真实的物体上网联结,在物联网上都可以查出它们的具体位置。通过物联网可以用中心计算机对机器、设备、人员进行集中管理、控制,也可以对家庭设备、汽车进行遥控,以及搜索位置、防止物品被盗等,类似自动化操控系统,同时通过收集这些小事的数据,最后可以聚集成大数据,包含重新设计道路以减少车祸、都市更新、灾害预测与犯罪防治、流行病控制等等社会的重大改变,实现物和物相联。

5G技术

第五代移动通信系统(5th generation mobile networks),简称5G,是4G系统后的延伸。美国时间2018年6月13日,圣地牙哥3GPP会议订下第一个国际5G标准。由于物理波段的限制,5G 的网络也将会与其他通信技术并用,包含长距离的其他传统电信波段。

推荐文章
暂无评论
暂无评论~