如今借助数据进行个性化推荐带来了更多精准的转化,并且除了解决移动端用户体验问题之外,个性化的精推荐还能够提升一个APP的商业价值。阿里云高级算法专家张维在2018云栖大会上海峰会中做了题为个性化app推荐技术在手淘的全面应用的分享,就手淘推荐算法简介、手淘推荐算法架构、推荐算法服务化等方面的内容做了深入的分析。
数十款阿里云产品限时折扣中,赶快点击这里,领券开始云上实践吧!
直播视频回顾
PPT下载请点击
以下是精彩视频内容整理:
无处不在的个性化推荐
如今个性化推荐在很多行业都有了成功的应用,例如目前淘宝有40%以上收入来自于个性化推荐,Netflix现在有75%的视频观看与推荐系统有关,并且Facebook 在“朋友推荐”、信息流等众多场景都使用了个性化推荐。在淘宝中出现的也不仅仅只有商品,还包括很多达人写的文章,以及视频、直播、榜单、主题等各种各样的内容。不同的用户对于淘宝的诉求是不同的,有些用户的目标很明确,有些用户可能只是随便逛逛,还有些用户把浏览淘宝当成自己的兴趣,会经常到淘宝中寻找一些新鲜的事物。推荐算法就是连接这三种情况,发现用户当前的诉求是什么,结合用户当前所在的场景,最终向用户推荐其可能感兴趣的东西,与此同时还会结合用户的行为对用户进行实时地反馈,进而提升手淘用户的体验。
推荐系统的简单介绍
首先是前台产品的形态,例如呈现的是图片还是内容,以及产品本身的定位,还会有用户的交互,比如用户的点击行为、快速反馈等,所有可被记录的内容都会从前台写入到日记采集系统中。在前台产品形态与日记采集系统中间存在着推荐系统,推荐系统向上会对前台产品返回结果,向下唯一的数据来源就是日志采集系统。
个性化推荐为平台带来很多的优势,其可以降低运营成本,缩短平台中所有元素的冷启动时间,同时也可以提高用户粘性、提升用户体验、提高运营效率以及提升商业收益,总的来说推荐算法可以提升整个生态的繁荣程度。
上图是手淘算法的基本架构,底层是三个基础平台,包括批量数据处理、流式数据处理以及机器学习平台,主要用于处理在离线的数据和训练机器学习模型。最左侧是数据输入模块,除了用户数据、内容数据和行为数据以外,运营配置也是算法不可或缺的数据输入。中间蓝色部分主要是算法部分,数据从数据接入模块进入系统之后需要进行数据处理和清洗,并在已有的内容行为特征之上,进行进一步的处理。在抽取到足够的特征后会进入到召回模块,然后进入到排序模块进行单目标预测或多目标预测,最后进行业务逻辑的处理,同时工程人员也会提供一些算法实验与效果监控。
算法机制
相比线上推广的用户,通过线下渠道获取的用户更喜欢浏览低客单价的快销品,在整个业务平台中,在机器学习中业务定制包括过滤、加权和重排,它们都遵循自定义的规则,自定义模型目标。在淘宝内部冷启动也是一个很大的问题,新用户进入淘宝后会浏览哪些商品,新的产品推荐给哪些用户,针对这些问题设置了三种方法来缩短冷启动时间,提升冷启动推荐的准确度,首先是基于弱个性化的推荐,简单地说就是给新用户推荐平台上比较热门的商品,以便能够快速掌握用户的喜好,对于新上的商品会推荐给行为丰富的用户,以便能够快速验证产品质量。其次是基于强个性化的冷启动,根据年龄、地域以及年龄段来预测用户行为。在这两个逻辑基础上,会对其做一些修正,简单说就是当某一类用户的行为较少时,这样的行为是不做取信的,反而是将这一类用户的所有行为累加到一起,作为这一类用户可能的推测。
基于A/B测试的效果调优和效果监控
现如今的推进算法的离线评测是存在一定问题的,所以在某种程度上鉴别一个算法的优劣时还是依赖在线实验的,在线实验的效果监控不仅是为算法服务的,它也可以为算法运营人员提供一个抓手,促使运营算法更好的发展,进而可以从需求端来分析算法的结果。
适合个性化推荐的场景有以下几种,首先是用户需要有数据化运营意愿,在主观条件下,希望能满足用户差异化的内容需求,同时希望用户原有的数据里有较丰富的用户行为和特征,若没有则需要一段时间对算法进行迭代,在线上运营一段时间后才能得到最终的效果,也就是说冷启动的时间会比较长。
阿里云的推荐引擎
阿里云推荐引擎是在现有的技术架构上做了简单的修改,在数据接入模块封装了SDK,让用户能够通过调用接口的方式把数据传到我们的系统中,这样一来用户的修改是最小的。同时在整个算法模块上封装了三层接口,用于用户对三层不同算法的干预,最简单的就是用户选择业务类型,得到数据之后就会得到推荐结果。对于有算法能力的用户,会为其提供了一系列算法优化接口,从而使得用户可以自行抽取特征或更改特征参数,使得模型效果更优一些。由于头部用户的开发能力较强,对算法的掌控与诉求也更加强烈,这时会把整个算法的开发开放给他们,在遵循安全规则的前提下就可以自主地做一些算法开发。
现如今的推荐引擎支持的行业非常丰富,支持内容的推荐、商品的推荐,也包括社交方面的需求。支持的场景推荐包括首页推荐、猜你喜欢、相似推荐以及热点排序等各种各样的场景,提供多种算法,并开放接口调优的接口,让用户自己的开发团队能够参与进来。同时也为运营人员开放了实时的、灵活的干预接口,且可自定义开发算法。
对于数据安全问题,可以提供阿里云所有的安全服务,例如数据所有权、加密存储、多副本分散存储以及加密传等安全服务。