「我们想基于物联网设备和 AI 打造一个虚拟教练,为每个人提供个性化的运动服务。」Keep 技术 VP 彭跃辉在活动中表示。「在今年,我们已经建立起了一支研究人工智能的技术团队,现在 Keep 整个技术团队人员的规模已达 200 多人。」
彭跃辉在 Keep 技术开放日上。
AI 虚拟教练,更懂你的运动需求
随着人们对健康、体态关注的意识增强,人们对于运动健身的需求越来越多,但即便身处北京这样的一线城市里,健身教练的水平也参次不齐。Keep 发现,优秀的教练数量很少,价格也很昂贵。
看来,这是人们日益增长的健身需求,和健身教练数量不足之间的矛盾。对此,Keep 给出的解决方案是:引入 AI 技术。
「怎样才能为用户提供个性化的专属训练计划?这是我们努力的方向。」彭跃辉讲到。健身教练可以给你实时的反馈,但是通过线上平台运动的反馈是相对滞后的。比如用户在独自运动时,动作不标准,或者动作超过极限了,在以前是无法知道的。2018 年初 Keep 成立了算法团队,试图通过 AI 技术来解决动作识别的问题。
在活动现场,Keep 展示了 TOF(深度摄像头)动作打分的新技术。通过拍摄用户运动过程,Keep 的 APP 可以在你锻炼的时候进行动作指导,并实时提示标准度。Keep 的智能训练指导可以使用户在独自训练过程中,只需通过一部手机就可进行有效运动。
这款应用是完全基于手机摄像头的,在家里把摄像头对准自己就能获得实时的指导。
另一方面,健身教练无法通过观察得知你身体的具体数据,AI 却可以,这是 Keep 的优势。
所谓的「AI 虚拟教练」,并不止是把「教练」角色搬到移动互联网上,而是内容、数据、算法和场景四方面相结合的一套体系。首先利用体测计划了解用户的身体能力和运动能力,如心肺能力、有氧能力、体能情况、柔韧性、平衡性、肌肉耐力等,根据这些数据和用户设定的个人目标,AI 虚拟教练还可以生成个性化的训练计划。
Keep 在 Apple Watch 上的应用可以帮助你统计跳绳的次数,以及跳绳节奏的变化情况。
「我们在 18 年推出了体脂秤和跑步机,在 2019 年还会推出更多新硬件。其中包括手环、手表和一些大型运动器械。」彭跃辉介绍说。「我们希望未来有一天,Keep 可以帮助更多人享受到运动的乐趣和效果。」
投身 AI 新技术
Keep 自 2017 年 10 月起布局 AI 业务,并将人工智能与运动的结合定位为未来发展的重点。2018 年 7 月,这家公司获得了价值 1.27 亿美元的 D 轮融资——这是迄今为止,运动应用领域里最大的一笔融资。在这之后,Keep 成立了人工智能研究院,秦曾昌博士任首席科学家兼人工智能研究院的院长。
秦曾昌博士毕业于英国布里斯托大学,他曾在 UC Berkeley 的 Lofti Zadeh 教授指导下做博士后研究。他在活动中向人们介绍了 Keep 在人工智能领域最近的应用成果。
Keep 首席科学家、Keep 人工智能研究院院长秦曾昌博士。
「现代科技的发展正给我们这样一种体验:所有事务的处理都可以通过轻点手机屏幕来完成——我们的身体正在变懒。」秦曾昌博士表示。「互联网和 AI 让世界离我们如此之近,只剩下一个屏幕的距离,但我们还希望 AI 和新技术能为我们的身体来做一些事情。」
Keep 正希望让我们的世界一起动起来。
说到 AI 如何了解你的身体,从视觉来讲就是关键点检测,对于今天的人工智能技术而言这一方向并不陌生。据介绍,Keep 进行了一些基础研究,以使深度学习模型能够在单摄像头拍摄的情况下更加准确地识别目标人体的关键点。秦曾昌介绍说,「我们发现在运动时,人体有很多关键点处于被遮挡的状态。若想准确识别目标,我们需要进行非常规的关键点识别。而此前并没有类似的数据集可供参考。Keep 正在建立运动数据集,未来将会开源出来。」
Keep 的研究很快就会成为应用中的新功能。在活动现场,Keep 向我们展示了基于普通摄像头的 3D 建模方法,可以利用一台手机轻松实现人体动作的追踪。「我们正在和一家国内手机厂商合作,很快就会推出基于深度摄像头的应用。」秦曾昌表示。「即使是一张平面的照片,我们也可以重建出 3D 的人体姿态。」
在最新的「3D 体态数据检测」应用中,Keep 可以通过一个微信小程序启动手机摄像头,仅拍摄一个人正面、侧面两张全身照(需穿着尽量贴身),使用深度学习算法在云端的计算,检测出用户的体态问题,并推荐科学的解决方案。
形体报告应用可以检测头部前引、O 型腿、脊柱侧倾弯、头部侧倾、骨盆倾斜、高低肩、膝盖过伸等风险,并能标出正常、潜在风险和高风险三个风险等级。
在人体姿态检测之外,Keep 人工智能研究院还在进行图像内容检测等方向的研究。和很多 AI 公司类似,Keep 目前也可以对用户上传的照片和视频进行标注、分类分发,并识别其中的文字、水印,自动为这些内容打上标签。
Keep 也在进行一些前沿方向的探索,秦曾昌介绍说「在文本等方面我们还会做一些跨模态的工作。将文字转换成表示的向量,和图片的卷积结合进行处理。」
在大量用户数据的支持下,Keep 建立起了自己的知识图谱。目前,开发者们正在研究关联多种媒体的信息,把模型学习到的计算图和知识图谱取到的关系做并集,形成新的图谱,以学到新的知识——深度学习并不擅长推理,在这一方面知识图谱或许会有所帮助。
截至目前,Keep 注册用户数已经突破 1.6 亿,海外用户量目前也突破 1000 万,日活超过 3500 万,积累了 22 亿条用户的运动数据。今年,Keep 在内容平台的基础上,还推出 KeepKit 系列智能硬件和 Keepland 线下健身空间。这家公司新瞄准的方向,是打造「AI 虚拟教练」,通过多项智能技术,打造智能化的运动方式。
明年 1 月,Keep 的动感单车将亮相美国 CES 展会。未来,Keep 还将推出更多结合复杂传感器、人工智能、物联网等技术的 KeepKit 智能硬件,包括智能手环、手表、深度摄像头等新产品。
「Keep 的努力是为了追寻我们最初的目标:让用户能够最有效的运动。让更多的人运动起来。」彭跃辉表示,这家公司预测,未来的运动健康领域会出现一个万亿级的市场。