CMU专家团队创业,OtterTune让数据库插上AI的翅膀

简介: CMU专家团队创业,OtterTune让数据库插上AI的翅膀

近日,人工智能驱动的数据库管理初创公司OtterTune宣布完成了1200万美元A轮融资,本轮融资由Intel Capital和Race Capital领投,并得到了Accel的跟投。

OtterTune成立于2021年,主要产品是通过使用机器学习来分析和优化数据库系统中的数百个配置设置,从而使其管理更加高效和经济。这个产品本身是基于几位创始人在卡内基梅隆计算机科学学院(CMU)的同名研究项目而来。

“现在是创业非常好的一个时间点。数据库上云,颠覆了很多玩法,它虽然解决了数据库管理方面的问题,但是还没有解决优化方面的问题。如果能够开发出真正好用的产品来自动优化数据库,市场体量非常大。”OtterTune联合创始人张伯翰向机器之心表示。

01 让数据库自己解决繁琐调参

数据库是一个非常复杂的系统,它包含大量的配置参数,而且对于不同的硬件配置,不同的工作负载,对应的最优参数文件都是不同的。

通常情况下,DBA(Database Administrator,即数据库管理员)不能简单地重复使用之前调好的参数文件,主要基于自身经验和对当前环境的理解去调整参数,往往需要花费大量时间,而且调整过程中存在大量不确定性。

“在跟客户沟通的过程中,我们发现很多创业公司内部并没有DBA这个职位,也没有太多有数据库经验的工程师,需要花大价钱来雇佣资深DBA。OtterTune可以帮助成千上万这样的公司,帮助他们优化数据库。”OtterTune联合创始人张伯翰向机器之心表示。

OtterTune是利用机器学习寻找最优的数据库配置,这一研究成果最早发表在了2017年的SIGMOD。

当时,卡内基梅隆大学数据库小组的教授、学生和研究人员开发了一个数据库自动调参工具OtterTune,它能利用机器学习对数据库的参数文件自动化的调优,能利用已有的数据训练机器学习模型,进而自动化的推荐最优参数。

OtterTune希望解决数据库长期存在的一些痛点,包括对管理人员专业性要求高;管理成本高;无法实现配置资源最优化等问题。

“数据库上云是大趋势,像亚马逊这样大型云厂商的出现以后,越来越多的公司更容易建立自己的数据库,但是,大部分数据库上云之后,并不是在最优状况下运行,比如很多人不知道如何配置数据库,通常会选用默认配置规格或者较高配置规格。这种分配方式造成了严重的资源浪费,存在很大的优化空间。”张伯翰说。

OtterTune能够让数据库部署和调优更加容易,让技术人员甚至不需要专业知识也能顺利完成。当用户配置好OtterTune时,它能自动持续推荐参数文件并把所得结果上传到服务端可视化出来,大大简化DBA的工作。由于OtterTune和数据库的交互只是一个参数文件,这使得该工具更加通用,甚至可以用于其他系统的调参。

张伯翰坦言,“创业不只是技术那么简单,发论文的成功不代表创业的成功,科研和产品落地之间有很大区别,这是学术圈创业的普遍挑战。产品的落地需要根据客户需求不断改变、调整,这是一个艰难的过程。”

虽然创业面临各种挑战,但整个过程同样充满了乐趣。“在创业公司,你要做各种不同的工作,个人的成长是飞速的。看到自己的产品能够解决别人解决不了的问题,真正帮助到客户,成就感非常大。”张伯翰说。

02 从0到1,数据库的生存法则

对于数据库来说,有很多部分都能尝试与机器学习结合。比如预测数据库一段时间的工作负载,如通过挖掘数据库的日志来做自动预警,再到更核心的部分,如学习数据库索引,甚至帮助优化器做查询优化。

参数文件调优只是其中的一部分。新一轮融资完成之后,OtterTune希望能够实现从参数调优扩展到更多的领域。

“数据库是一个慢行业,建立一个可靠的数据库不是容易的事情,一定要看准需求。”张伯翰说。

回顾传统数据库走过的路,主要分为闭源数据库与开源/云数据库两个阶段,其中闭源数据库主要包括集中式集群、单机数据库,主要面临的挑战为价格昂贵、人员稀少等问题。

张伯翰认为,数据库上云是大趋势。OtterTune会将所有用户尝试的参数文件和对应的性能数据存下来进行利用。这意味着用OtterTune的人越多,用的时间越长,它收集的训练数据越多,推荐效果越好。

“数据库是用出来的,需要很多用户,开源之后可以让更多用户使用,发现问题更快迭代;同时,也让更多客户证明数据库的可靠性,有助于拿到更好的企业订单。”

从行业整体发展趋势看,相对闭源商业软件,开源软件的生命周期也显得更有生命力。1996年,Postgres因SQL标准的引入及功能的完善,获得了新生。

PostgreSQL的兼容性是很多系统的一个显著特征。这种兼容性是通过支持PostgreSQL的SQL方言、通信协议或整个前端来实现的。时至今日,国内外很多优秀的数据库产品都与PG有着直接或间接的关系。

OtterTune首先支持调优的数据库就是开源的MySQL和PostgreSQL。目前,OtterTune的产品能够自动优化Amazon Aurora和Amazon RDS上运行的MySQL和PostgreSQL。

数据库自动化和优化不仅需要机器学习的知识,还需要数据库的知识,团队的重要性不言而喻。

Andy Pavlo、Dana Van Aken、Bohang Zhang是OtterTune的三位联合创始人。其中,Andy Pavlo是卡内基梅隆计算机科学学院(CMU)的副教授,他的研究重点是数据库管理系统,特别是内存系统、自动调优(autonomous)架构(OtterTune和NoisePage项目)、事务处理系统和大规模数据分析。多年来,Andy通过在线和面对面的系列讲座以及为数据库技术研究会议提供服务为数据库研究和教育做出了贡献。

OtterTune计划在今年年底前将工程师团队从目前的15人扩大到30人。“学习的能力,是我们非常看重的一点,能在团队中快速成长。其次是团队之间的合作,能够进行良好的沟通合作,快速推进项目。另外,能够对新的知识充满热情,对新的技术充满兴趣,遇到新的挑战能迎难而上。”张伯翰说。

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
7月前
|
存储 关系型数据库 数据库
附部署代码|云数据库RDS 全托管 Supabase服务:小白轻松搞定开发AI应用
本文通过一个 Agentic RAG 应用的完整构建流程,展示了如何借助 RDS Supabase 快速搭建具备知识处理与智能决策能力的 AI 应用,展示从数据准备到应用部署的全流程,相较于传统开发模式效率大幅提升。
附部署代码|云数据库RDS 全托管 Supabase服务:小白轻松搞定开发AI应用
|
8月前
|
人工智能 安全 机器人
无代码革命:10分钟打造企业专属数据库查询AI机器人
随着数字化转型加速,企业对高效智能交互解决方案的需求日益增长。阿里云AppFlow推出的AI助手产品,借助创新网页集成技术,助力企业打造专业数据库查询助手。本文详细介绍通过三步流程将AI助手转化为数据库交互工具的核心优势与操作指南,包括全场景适配、智能渲染引擎及零代码配置等三大技术突破。同时提供Web集成与企业微信集成方案,帮助企业实现便捷部署与安全管理,提升内外部用户体验。
791 12
无代码革命:10分钟打造企业专属数据库查询AI机器人
|
4月前
|
人工智能 运维 NoSQL
云栖大会|AI浪潮下的NoSQL演进:下一代数据库的破局之道
AI浪潮下的NoSQL演进:下一代数据库的破局之道
|
4月前
|
人工智能 Cloud Native 关系型数据库
云栖重磅|瑶池数据库:从云原生数据底座向“AI就绪”的多模态数据底座演进
瑶池数据库:从云原生数据底座向“AI就绪”的多模态数据底座演进
|
6月前
|
存储 人工智能 算法
​​向量数据库终极指南:AI开发者的进阶手册​
本文深入解析向量数据库的原理与实战应用,涵盖其在AI系统中的核心作用、关键技术(如HNSW、PQ、LSH)、相似性搜索、元数据过滤及无服务器架构优势。适合开发者和AI从业者学习提升。
1667 1
|
7月前
|
人工智能 运维 数据挖掘
瑶池数据库Data+AI驱动的全栈智能实践开放日回顾
阿里云瑶池数据库重磅推出“Data+AI能力家族”,包括DTS AI数据准备、Data Agent系列智能体及DMS MCP统一数据访问服务,重构数据与AI协同边界。通过智能化工具链,覆盖数据全生命周期,提升企业数据开发、分析、治理与运维效率,降低技术门槛,激活数据资产价值,助力企业迈向全栈智能新时代。