微软智能云，机器学习的最佳实践平台

2020-04-14 11:14:09

作为人工智能的关键基石,能够从过往数据中发现规律、总结知识,并预测趋势洞察的机器学习,正受到越来越多的重视和越来越广泛的应用。从预测疫情发展走向、协调仓储和物流资源、躲避道路交通拥堵、前瞻流行趋势,到“猜你喜欢”的个性化推荐,机器学习正在不同行业的各种场景中,展现出不可忽视的巨大潜力。

然而构建和部署机器学习模型,并让它灵活高效地运行起来,并不是一件容易的事,特别是在面对复杂数据来源与不断发展变化的大规模运营需求时,就对企业的技术水平和运维能力提出了更高的要求。机器学习运维(MLOps)让数据科学与IT运维紧密协作,能通过改进模型监控、调试、管理等各个环节,全面提升机器学习模型运行、部署的效率,真正发挥出机器学习的规模效应。

准确预测,打造更稳定、高效的全球云服务

云计算是个规模巨大、技术复杂的系统平台,如何对分布于全球各地数据中心的各类软硬件资源进行安全、高效的运维和管理,不仅涉及到巨大的资源投入,更牵扯到亿万客户的业务系统和服务是否能够平稳运行、灵活扩展,随时满足业务需求。Microsoft Azure目前服务于世界各地58个区域,是全球覆盖最广泛的公有云,为了最大限度地提高云计算资源的利用率、优化云平台的整体运营水平,Azure团队和微软研究院的研究人员开始思考如何利用机器学习预测和优化Azure的资源分配。

通常情况下,计算机,包括云计算资源的管理都是由既定策略控制的,但这种方式有两个主要缺点:首先是相关的阈值通常是为满足不同类型的工作负载大致设定的;其次是由既定策略所触发的被动措施,常常会造成额外的成本投入,并给客户造成负面影响。而基于机器学习的预测式资源管理,能有效解决这些问题。

Azure团队与微软研究院共同开发出了Resource Central服务,这是一个作为独立组件的通用机器学习预测系统,能够为Azure的各个云计算资源管理器提供关于工作负载和硬件基础设施分配的预测洞察。Resource Central会收集来自于容器和服务器的运行数据,分析它们之前的运行和故障情况,从中寻找规律,然后在需要的时候,对未来可能出现的情况做出预测。基于分析和预测的主动管理策略,能动态调整阈值,对虚拟机、容器、CPU等资源进行合理、动态、及时的调整,从而提升云计算的整体运行效率。

目前,Resource Central已经部署在全球各地的Azure区域,对数据中心效率、云平台效率和可用性、服务器效率和可用性、虚拟机效率等关键资源分配情况进行监控、预测和优化,其在各个方面的预测准确度平均都达到了80%以上。在虚机管理方面,由于实现了对实际工作负载的准确预测,原本被认为已经满载系统,现在可以运行更多的虚拟机,与对照组相比,物理资源耗尽的情况减少了六倍。

更准确的预测意味着更低的宕机风险、更高的可用性、更灵活高效的资源管理和更低的运行成本,也让Azure能够为全球客户提供更加安全、可靠、经济的云计算服务。

机器学习让PowerPoint更懂什么设计才“大气”

与此同时,机器学习也在不断推进微软生产力云平台的智能进化。多年来,微软一直在不遗余力地为Office加入更多人工智能应用,帮助人们事半功倍地完成工作、发挥创意。让很多人耳目一新的PowerPoint的“设计灵感”以及Outlook的“建议回复”功能便是其中的典型代表。

PowerPoint中的设计灵感功能,可以根据用户输入的文字和图片,为幻灯片设计出多种不同风格的版面样式,用户完全无需动手调整字号、行距、图形效果这些细枝末节,就能得到美观大气的PPT设计。Outlook网页版和iOS、安卓客户端提供的建议回复,能根据邮件内容自动建议快速回复的文字选项,帮助用户简化操作。现在这两项智能创新,都是由Azure机器学习服务驱动的。

以设计灵感为例,其首先要对用户输入的图像、文字、表格等内容进行分析、理解、分类,然后再把相应的内容放入到风格与之匹配的专业设计模板中呈现出来。在这个过程中,图像分类、内容建议、文字分析、页面结构分析、评价反馈等环节都要用到机器学习。自问世以来,设计灵感功能已经帮助用户设计了超过17亿个幻灯片,并且要经常对模型进行更新训练,对内容建议进行持续优化,这些都意味着巨大的工作量。

为了应对快速增长的用户需求,PowerPoint开始采用Azure机器学习和机器学习运维(MLOps)服务,更快速地构建和部署机器学习模型,并加入了更多对背景图片、视频和复杂内容的处理建议。来自不同来源的原始数据会在Azure数据湖中被转换成模型能够读懂的格式;Azure机器学习将训练模型分布下放到虚机中进行并行训练,在不影响用户体验的情况下,完善和更新模型的效果;通过尝试不同变量、参数配置,并对结果进行比较,模型就能得到不断的优化;经过升级的模型最后回到Azure数据湖,重新部署到机器学习服务中。这样,依靠机器学习运维平台,PowerPoint、Outlook以及更多微软智能应用,得到了持续高效的智能迭代和升级。

Azure MLOps,让机器学习运维触手可及

为了帮助更多企业将机器学习模型部署到生产环境中,并实现高效的开发运维,微软在Azure机器学习的基础上推出了Azure机器学习运维(MLOps)服务。Azure MLOps以软件开发运维(DevOps)的经典模式,提供了机器学习模型从开发、封装、测试、部署、监测、重新训练、迭代的全生命周期流程,并且可以通过复制开发流程,实现规模化的扩展,从而帮助企业真正在业务中发掘出机器学习和人工智能的最大潜力。

TransLink是加拿大温哥华市的公共交通运营商,其运营的公交系统覆盖了温哥华1800平方公里的面积,每年承运超过4亿人次。为了确保公交系统的准时运行, TransLink部署了1.8万个不同的机器学习模型来更好地预测每趟公交车的开车时间,其中融入了包括交通、天气以及其它各种可能造成影响的因素,利用Azure机器学习和MLOps服务,他们现在可以并行不悖地同时运行所有这些预测模型。

拥有130年历史的美国江森自控(Johnson Controls)是一家专业从事楼宇消防、中央空调、安防系统安装运营的企业,机器学习是其智能楼宇解决方案的核心技术。江森自控提供数千种冷却设备,每台设备上可能有多达70种不同的传感器,它们实时发送的数据可达TB级别。MLOps能够以快速、可复制的方式部署机器学习模型,为日常检修提供实时的数据洞察。这样,至少可以提前几天预测冷却机出现故障的风险,从而将其造成的损失降到最低,并确保不会对客户造成影响。

覆盖全球、安全可靠的微软智能云为机器学习、机器学习运营服务提供了绝佳的运行平台,为全球客户提供了普及人工智能的理想工具;与此同时,微软智能云自身,也在积极采用机器学习和机器学习运营服务,不断实现快速的更新迭代,实现周而复始的自我更新。欲了解微软智能云及机器学习、机器学习运营服务的详情,请浏览官方网站:https://azure.microsoft.com/zh-cn/services/machine-learning/。

关于微软智能云Azure的更多最新进展、技术创新及落地应用,敬请关注4月17-4月18日的首届微软在线技术峰会,点击活动官网或扫描下方图片二维码即刻报名:https://chinaevent.microsoft.com/virtualsummit/zh-cn/index?channel_id=100088

图片1.png