一、重大事件
1、飞刀接受印度知名IT媒体专访:阿里云的目标是实现数据库的完全自动化和智能化
阿里云云原生数据库PolarDB和云原生数据仓库AnalyticDB在印度正式上线,当地知名的IT媒体YourStory对阿里云智能数据库事业部总负责人李飞飞博士进行了专访。
在采访中李飞飞表示,随着计算和数据上云的趋势快速发展,传统数据库步履蹒跚,云原生数据库和数据仓库利用云原生技术最大化的发挥池化的计算和存储资源弹性将是未来。同时随着AI技术的不断深入使用,数据库也将会越来越智能化,阿里云的目标是实现数据库的完全自动化和智能化。
查看详情:https://developer.aliyun.com/article/750441
2、引领数据库迈入自动驾驶时代,数据库自治服务DAS重磅发布!
2020年4月22日,全球首个云数据库自动驾驶平台——数据库自治服务DAS重磅发布。基于多年大规模数据库集群运维调优的专家经验,结合机器学习等智能化技术,DAS可提供自感知、自修复、自优化、自安全的全链路数据库管控能力,无需人工干预,让企业像体验“自动驾驶”一样使用数据库,数据库管理成本降低90%。
发布会预热过程中,由DAS团队同学出演的DAS趣味短视频——《这是不是运维“汪”的一天》目前已在多个渠道进行发布,大受好评。
最终参与发布会直播人数共计18876人,再创历史新高!
3、ICDE 2020 于4月20日在线上举行,阿里云分享 AnalyticDB 相关Topic获得海外关注
ICDE 2020 4月20日-4月24日在线上举行,阿里分享了《Two-Level Data Compression using Machine Learning in Time Series Database》的论文,并在4月22日美国时间早上7:30-8:00分享了Topic < AnalyticDB : Real-time OLAP Database System at Alibaba Cloud>,尽管时间很早但仍有上百人观看,通过本次演讲,使ADB产品在海外大获关注
4、X-Engine助力钉钉顺利应对流量洪峰,跃居APP Store 第一!
钉钉作为国内领先的企业IM工具,在中国有超过亿级别的用户。随着新型冠状病毒肺炎疫情的爆发,大量的企业员工选择了soho模式,企业办公协同工具的需求瞬间爆发。钉钉迅速冲上了AppStore下载免费榜单的第一位。面对这些挑战,钉钉业务选用了X-Engine作为全量钉钉消息的最终存储引擎,实现了性能和成本的平衡。而且在此次企业协同办公需求爆发期间,钉钉业务的数据库系统顶住了所有的流量洪峰。
在未来X-Engine作为PolarDB分布式版本的一个底层存储引擎,将在分布式数据库领域服务更多的客户。
查看详情:https://yq.aliyun.com/articles/745268
5、阿里云数据库金笔杆征文大赛月度评选Top8新鲜出炉!
为了更好地向外界展示阿里云数据库先进的技术理念,并且为同学们施展文采提供更大的平台,3月9日,我们面向数据库事业部所有同学正式发起金笔杆征文大赛。比赛一经发起,陆续收到了来自各个团队同学的投稿。
截止4月20日,3月征文评选出的Top8已新鲜出炉,其中Top1曝光值超6万,Top1-8曝光值超20万。月度Top8同学将可获得LAMY钢笔一支,前二十名投稿同学也将获得精美礼品。
Top8文章:https://developer.aliyun.com/article/756947
二、重大产品更新
PolarDB下一代云原生数据库
PolarDB 存储包大幅降价,共享技术升级红利
PolarDB 3T及以上存储包在原有的基础上,统一再次降价 17%~33% (3T/5T 存储包降价17%,10T降价33%,20T/30T 降价25%,50T/100T 降价31%)。降价后,10T存储空间使用存储包比按量付费便宜40%!小提示:1个存储包可以被多个实例(集群)共享。
PolarDB-O大幅降价,降低去Oracle成本
PolarDB-O 国内站国际站所有Reion所有规格进行大幅降价,最低降价22.39%,最大降价达到65%,极大降低客户去Oracle成本;
PolarDB MySQL 支持绑定私有地址(域名),用户可以不改数据库地址(域名)上云或迁移
PolarDB通过绑定用户自定义的私有域名,可以在指定的VPC内优先解析该域名到PolarDB地址,从而达到用户在迁移/更换数据库的时候不需要修改原来使用的数据库地址(域名)的目的。
PolarDB MySQL 8.0 支持透明数据加密(TDE)功能,提升数据安全防护能力
对于PolarDB MySQL 8.0版本,用户可以使用自己的密钥或者由阿里云自动生成密钥,通过SQL语句『alter table t encryption='Y';』来加密数据库的部分表,来避免物理文件或备份泄露造成的数据丢失
云原生数据仓库+数据湖
AnalyticDB MySQL正式对外发布性能白皮书
以TPC-H 22 Query为标准场景,对比Presto、Impala、Spark有6-10倍以上的提升。
性能测试报告参考 :https://help.aliyun.com/document_detail/155980.html?spm=a2c4g.11174283.6.779.5f5428f14Z8IsX
云原生数据仓库PostgreSQL版上线存储计算分离实例规格
云原生数据仓库PostgreSQL版存储计算分离规格灰度发布新加坡区域,支持存储及计算资源独立按需购买,支持计算资源弹性平水平扩展,支持存储独立扩容,提供ESSD 和 高效云盘两种存储介质,满足高性能实时分析和大规模低成本数仓的场景,相比传统数仓形态,可以做到更加精细化成本控制,充分利用云原生弹性资源优势。
数据湖分析发布Serverless Spark计算引擎
数据湖分析发布Serverless Spark计算引擎,支持用户使用Spark计算分析OSS上的数据,利用Spark引擎为用户提供自定义编程、ETL、机器学习、Streaming的能力,帮助用户挖掘OSS、RDS、Hbase等多种数据源中的数据价值。
Data Lake Analytics发布多项SQL功能和性能优化
SQL执行过程中遇到gz格式的空文件将直接跳过。当用户的分区数量大的时候,使用droptable删除表需要花费较长的时间,经过优化之后,即使分区数达到万级以上也能较快的进行删除操作。
云数据库ClickHouse于4月8日正式发布商用,首月有50+客户购买商用
云数据库ClickHouse同时发布了集群扩容、缩容功能,用户可以按需变更集群资源规模;增加了报警监控功能,便于应用自定义报警规则监控集群运行状态;单个节点最大存储容量扩大至10TB,满足数据量大的客户需求,进一步提高性价比。
RDS&NoSQL&管控工具
MySQL专属集群支持MySQL 5.6版本、SQL Server引擎、PostgreSQL引擎
专属集群是由多台主机(底层服务器,如ECS I2服务器、神龙服务器)组成的集群,用户通过专属独享一片资源池,可自由灵活分配MySQL(现以支持5.6、5.7、8.0版本)、SQL Server 和 PostgreSQL 实例,进一步满足企业对安全合规、高性价比、自主可控的数据库需求
MySQL 支持客户自定义调整Buffer Pool大小
目前阿里云是中国云厂商首家支持该特性的。RDS MySQL 支持修改 InnoDB buffer pool空间大小, innodb_buffer_pool_size 调整范围最小值128MB,最大值是RDS MySQL实例规格内存80%。 目前仅支持通过公式修改,在RDS参数管理和RDS参数模板中,通过系统变量DBInstanceClassMemory来设置 innodb_buffer_pool_size,如 {DBInstanceClassMemory7/10} 表示将 RDS MySQL 实例的 innodb_buffer_pool_size 设置为规格定义的内存空间的70%大小。
云数据库SQL Server 2008R2发布云盘版形态
RDS SQL Server 2008R2 版本支持云盘存储类型,同时在所有地域全部开放售卖,早期老版本客户可无法迁移上云。
SQL Server支持主可用区功能
RDS SQL Server支持主可用区功能,用户可按需灵活设置主节点及备节点所在可用区分布,满足业务部署需求。
RDS PostgreSQL发布回收站功能, 覆盖所有版本
RDS PostgreSQL发布回收站功能, 覆盖所有版本, 实例欠费或到期释放15天内可以从回收站恢复. 1、充值解锁 按量付费RDS实例因为欠费被锁定时,可以对阿里云账号充值解锁实例。 2、续费解锁 包年包月RDS实例因为到期被锁定时,可以在回收站中对实例进行续费解锁。
PostgreSQL V12 高可用版商用, 性能提升100倍.
• 高性能:
o 在表分区上千时, 高并发场景性能提升100倍.
o 最高32TB,100万IOPS,4GB/s 读写带宽。
• 开发友好:
o 支持sql jsonpath语法, 在JSON文本操作方面功能大幅提升
o 虚拟列功能.
• 高安全: 支持SSL安全加密链路,全库数据加密
• 高可靠: 支持主从多可用区,三种数据保护级别(最大保护,最高可用,最高性能)
Redis 支持代理管理功能
Redis 支持代理管理功能,提供代理展示及热升级,重启,重搭等操作选项。阿里云Redis 某些新功能依赖代理实现,老版本代理无法支持,需要提供控制台代理升级能力。现有升级为热升级,对客户业务无影响。同时提供代理重启,重搭等功能,发生代理响应延迟时,可以通过该功能快速解决。
Redis 支持手动主从切换
Redis 提供服务可用性管理功能,提供分片及对应可用区信息展示,让客户能够直观感知实例分片的分布状况。提供手动主从切换功能。方便客户进行主可用区切换,同时提供容灾演练能力,降低企业级客户上云测试门槛。
MongoDB 分片集群兼容 DynamoDB 协议
MongoDB 分片集群兼容 DynamoDB 协议,方便使用 DynamoDB 的客户无缝迁移。
MongoDB 全面升级审计日志功能
审计日志功能全面升级,提供多维度过滤查找能力,方便客户快速定位审计日志,同时提供多种聚合展示,方便客户快速掌握实例的基本状况,比如 Top 客户端IP,Top 命令,Top 用户等,同时提供控制台审计日志展示及下载,对比原有审计功能,能力大幅度提升。
HBase支持在线磁盘扩容
HBase支持在线磁盘扩容,计算节点应用无需重启,相比原有扩容方式,平均每节点扩容时间从5分钟下降到15秒。
HBase全品功能全面优化
1.备份计划状态告警
2.监控指标中新增"BDS冷存储使用空间大小"
3.全量迁移、实时同步链路支持列、列族的过滤
4.HBase归档ODPS,中间表改造分区表,节约计算资源
5.HBase实时归档链路支持指定起始时间
6.标准版新增大请求限制
7.标准版OFFHEAP配置简化
8.标准版JDK升级,优化特定场景下FullGC性能
图数据库GDB实例规格支持降配
图数据库GDB实例规格支持降配,结合前期发布的升配功能,可满足客户业务潮汐扩缩规格需求。客户应用通常有潮汐特点,如双十一大促,对数据库的访问压力急速提升,需对数据库规格做扩展。而大促过后,业务压力下降,可以对实例规格降配,以节约成本。
Cassandra实例规格支持降配
阿里云Cassandra版实例规格支持降配,用于应对客户业务可预知的潮汐场景,如双十一等可预知的短时业务高峰,需要临时将规格升配,待高峰过后需降配以节省成本。
InfluxDB Group by查询性能优化提升十倍
InfluxDB针对Group by 查询性能优化提升十倍,更好满足监控告警等实时查询场景的业务需求。
InfluxDB优化
自研Chronos引擎上线,效果显著,部分业务IO从90%降到15%左右
数据库自治服务DAS上线自动SQL限流
数据库自治服务发布应急处理利器——自动SQL限流,当数据库遇到缓存穿透、异常SQL不断被提交、大账号访问等等问题时,无需等待研发处理,DAS可以自动发现该异常并定位到异常SQL,自动触发SQL限流,让业务在分钟级内恢复正常。
数据管理DMS支持数据湖分析DLA与数仓开发周期任务调度、数据可视化!
数据管理DMS新增数据湖分析DLA支持,可进行周期任务编排调度构建数仓解决方案,对查询结果可一键进入数据可视化,帮助用户借助图形化简化数据分析的成本。
数据管理DMS上线行权限隔离管控能力及若干体验优化支持
数据管理DMS新增数据行权限管控能力,满足更细粒度权限隔离管控需求;优化实例管理SQLConsole若干交互,提升用户使用便捷性。
数据传输服务DTS发布云Redis企业版双向同步功能
支持阿里云Redis企业版实例间的单向或双向数据同步,支持的架构类型包括标准版、读写分离版和集群版,可应用于异地多活、数据容灾、业务多地部署等场景。
数据库备份DBS推出跨账号备份功能
数据库备份DBS推出跨账号备份功能,客户通过单独的备份账号来备份数据库,很好的解决运维账号误操作、删库跑路等数据安全问题。
数据库网关DG推出私网数据库上云迁移及备份上云能力
数据传输服务DTS和数据库备份DBS集成数据库网关DG正式上线,基于DG可以帮助用户低成本实现线下IDC/友商私网数据库上云迁移和备份上云。
三、前沿技术
DAS数据库智能压测能力上线公有云,并向用户全面开放
DAS数据库管控平台已可在用户界面发起ClouDBench智能压测任务。智能压测可以根据用户数据库负载生成压测数据,有效评估数据库水位和容量。阿里云是业界第一个具备智能压测能力的数据库云厂商。同时,该功能也开始服务集团上云、数据库规格变更、双十一数据库端压测等场景。
全加密数据库MySQL版一期功能研发完成,为全球首个基于MySQL的全加密数据库系统
全加密数据库MySQL版一期功能研发完成,支持MySQL xcluster三节点部署和TDDL自动加解密能力,在多数操作上保有对应明文操作80%以上的性能,这表明用户可以较小的性能代价获得高强度的数据防泄能力。这是全球首个基于MySQL的全加密数据库系统,可利用MySQL生态打开用户市场。
实验室自研空天数据库引擎Ganos Aero Space(GAS)应用于阿里云数字地球引擎APE
阿里云数字地球引擎APE(一站式卫星数据资源与智能增值生态平台)作为阿里云一方产品正式立项,GAS将为APE提供大规模空天索引、空天网格存储和空天计算能力,推动云上空间基础设施建设。同时,GAS与达摩院行业创新与视觉工程团队的遥感影像分析系统完成技术对接与平台适配,实现了空天数据库与遥感AI的一体化,为空天智能技术联合创新应用建立了重要基础。
基于DAS平台的论文被VLDB 2020 Research Track收录
基于DAS平台的论文《Diagnosing Root Causes of Intermittent Slow Queries in Cloud Databases》被 VLDB 2020 Research Track收录,本篇论文介绍数据库智能管控平台上的慢SQL根因分析技术,研究成果已应用到DAS实时异常检测系统的多指标异常序列原因分类与异常程度的判定中,每天对2.5w个实例进行4.5w次实时根因定位。
四、客户案例
阿里云提供高效基因序列检索功能,助力冠状病毒序列快速分析
截至目前,新冠疫情使得全球209个国家停摆,全世界范围内造成了数千亿美元的经济损失。为此,阿里云推出高效基因序列检索功能,助力冠状病毒序列分析用于疫情防治。
当前的的基因匹配算法过慢,因而迫切的需要高效的匹配算法来进行基因序列分析。阿里云AnalyticDB团队将基因序列片段转化成对应的1024维的向量特征。两个基因片段的匹配问题,转换成了两个向量的距离计算问题,从而大大的降低了计算开销,系统可以在毫秒级别就可以返还回来相关的基因片段,完成基因片段的初筛。