客户说有了PAI-AutoML,一下子可以节约半年开发周期

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介:

背景介绍

如果你用过机器学习算法,那一定体验被算法调参支配的恐怖。面对错综复杂的算法参数,算法使用者们往往要花费无尽的黑夜去不断尝试,犹如大海捞针。有的时候加班到深夜,终于找到了一个靠谱的参数组合,然而找到的参数组合真的是最优的么?天知道。

然而在搭建机器学习链路的过程中,往往不止调参这一步耗时耗力。好不容易生成了算法模型,怎么把模型部署成服务供手机、PC这些终端调用也是困扰开发同学的一大难题。有的时候,为了打通这样的链路,要耗费整晚的时间调试不同格式的模型和服务端的关联。

人工智能服务在便捷了人类生活的同时,能不能也为广大算法工程师提供人性化的开发环境呢?减少黑眼圈是算法工程师共同的心愿。对于这个问题,PAI给出了答案,今日PAI重磅发布全套自动化机器学习引擎,用机器学习的方式解决机器学习流程的问题。

AutoML整体介绍

下面看看什么是PAI-AutoML, AutoML顾名思义,就是将机器学习整个流程做到自动化。机器学习数据上传之后的流程大致可以分为3个步骤:模型训练、模型评估、模型部署。

PAI自动调参

PAI自动调参功能对于资深算法使用者以及算法小白都有很大价值:

  • 针对小白用户:小白用户不清楚每种算法参数在算法计算过程中的数学原理,往往对调参一头雾水,所以自动调参可以快速帮助这部分用户解决问题
  • 针对资深用户:资深用户对于调参往往有一定经验,但是这种经验往往只能在大方向上指导调参工作,对于一些细节参数仍需要不断重复去尝试。比如一个参数范围0~100,资深用户可以通过经验确定参数设置为90或者80的结果,但是在更小粒度上,比如81和82哪个对结果更好,资深用户也需要手动去实验。而自定调参功能可以代替这部分的重复性劳动。

目前行业中主流的调参思想主要是基于Parallel Search,以grid search和random search为代表,系统通过随机原理,不断采样可能的参数组合,通过不停迭代去尝试找到最优的参数组,每次探索的过程彼此独立。优势是不容易陷入局部最优解,可以在更广阔的参数空间探索。劣势是每次探索都是随机性的,缺乏信息的积累过程,耗费计算资源。

PAI提供了原创的Evolutionary Optimizer进化式的调参方法,让模型的每一次迭代都自动在上一轮较优的参数集区间中进行开发,内置的高效算法可以快速的帮你找到最合适的参数组合,大大减少计算资源消耗以及参数探索的次数。你要做的只是泡上一壶茶,静静等待奇迹的降临。

PAI进化式调参迭代效果图,可以清楚地看到每一轮迭代对于效果的提升:

PAI模型自动评估

PAI AutoML提供多维度的算法评估方法,只要在F1Score、Precision、Recall、AUC中选择自己所需要的评估指标,系统会自动完成模型评估工作并将服务下发到下游的训练环境,所有评估流程完全不需人工参与。

模型排序表:

模型下发配置:

PAI模型一键发布

生成了模型,可以在PAI平台一键将模型发布成API服务。只要点击部署按钮,就会列出当前实验可部署的模型,选择需要的模型就可以一键完成部署,是不是很简单。

部署完成后会自动跳转到在线服务管控平台,在这里可以进行全部的模型管理相关工作。

客户案例

PAI-AutoML看上去很厉害,是不是真正能帮助到用户的业务呢,下面看下PAI在阿里云平台上用户使用之后的反馈。先介绍下客户:椰子传媒是一家专注在移动原生交互视频广告的公司,在奖励视频行业深耕了2年多,随着业务规模的增长,多平台、多渠道,多模式下的智能投放效率问题越来越突出。

椰子科技技术负责人说:阿里PAI平台提供了一个低门槛、快速上手的服务能力,使得业务可以快速的对接到基于大数据的机器学习平台上,有力的推动公司业务的快速发展。基于PAI AutoML引擎,可以让我们更快速的在不同平台和模式下定位目标用户。

椰子传媒通过使用PAI AutoML引擎,调参服务帮助模型提升精度40%,自动化部署预计全部业务上线后可达千万次,节省人力20%-30%,最重要的是将业务构建在机器学习服务平台的时间缩短了至少半年时间。

架构图:

总结

PAI AutoML引擎拟在最大限度上减少机器学习业务搭建成本,目前上线的模型训练参数调优和模型一键自动部署服务已经在节约人力开销方面提供帮助。未来PAI平台还会在这个方向继续投入,真正做到让机器学习不再是个高门槛技术,让人工智能触手可及。
欢迎前来体验:https://data.aliyun.com/product/learn

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
3天前
|
数据可视化 搜索推荐 数据挖掘
疑问!6 款办公软件如何让电商团队效率大幅提升?
在电商行业,高效的团队协作至关重要。本文推荐六款团队协作软件,重点介绍板栗看板。板栗看板通过任务可视化、灵活分配、高效沟通、丰富模板及数据分析等功能,显著提升电商团队的工作效率和协同能力。其他推荐软件还包括Trello、Asana、Wrike、Monday.com和Basecamp,各有特色,适应不同团队需求。
24 5
|
2月前
|
安全 数据可视化 数据挖掘
人力系统不知如何选型?看好这些关键指标
在现代企业管理中,选择合适的人力系统至关重要。本文探讨了选型的关键指标,如功能全面性、用户体验、数据分析能力、系统集成性和安全性,并推荐了利唐i人事作为专业解决方案,涵盖招聘、绩效、薪酬及培训管理,助力企业提升管理效率和竞争力。
|
存储 达摩院
如何合理安排员工工作时间以提高效率和减少成本?—达摩院MindOpt
人员排班在各行各业都具有重要的实际应用价值,可以帮助企业和机构提高管理效率、降低成本,同时提升员工的工作满意度和整体效能。
如何合理安排员工工作时间以提高效率和减少成本?—达摩院MindOpt
|
缓存 移动开发 前端开发
降低开发成本的寄售拍卖直播源码系统设计与实现
随着拍卖直播领域的迅速崛起,搭建属于自己的拍卖平台日益受到关注,为了满足这一领域的需求,降低开发成本成为了一个关键议题。本文将探讨通过用“东莞梦幻网络科技”拍卖直播成品源码如何在开发过程中获得降低成本效益。
|
测试技术 数据库 开发者
一对一直播app源码,影响软件开发成本的关键
一对一直播app源码,影响软件开发成本的关键
|
缓存 前端开发 JavaScript
婚恋源码的体验优化,是需要长期持续投入的工程
婚恋源码的体验优化,是需要长期持续投入的工程
如何整合软件开支数据以实现更好的IT预算规划
企业需要更好的IT预算规划,可以通过整合软件支出数据来实现这一点。不断增加的IT预算使谨慎管理技术支出变得更加重要。全面而准确的软件堆栈支出计划有许多好处,其中包括首席执行官和首席信息官之间就业务优先事项和优化的采购流程进行良好的沟通。
163 0
在一个执行力极差的团队工作是一种怎样的体验?
一个执行力极差的团队能把一个公司活活的拖死,在这种团队中工作是一种怎么的体验呢?相信很多小伙伴会对这种团队的工作氛围感兴趣。正好冰河在假期与一位经历过这种团队的朋友聊天,聊到了这个话题,今天就给小伙伴们总结下在一个执行力差的团队工作是一种怎样的体验!
292 0
|
运维 Prometheus Kubernetes
节约服务器成本50%以上,独角兽完美日记电商系统容器化改造历程
今年4月,完美日记IT系统实现全面云原生化。
3747 0
节约服务器成本50%以上,独角兽完美日记电商系统容器化改造历程
|
架构师 Java 程序员
从普通程序员到身价过百亿:追求长期价值的耐心,决定了你能走多远
一提到程序员,很多人脑海里马上会出现这些标签:格子衬衫、牛仔裤、代码、bug、木讷、不善言辞等等。但有一个词似乎更能概括:改变世界。 程序改变世界,已经有几十年了,但真正进入大众的生活,应该是从2007年智能手机的应用开始,越来越多的人开始关注技术和程序员。
1882 0

相关产品

  • 人工智能平台 PAI