开发者学堂课程【阿里云分析型数据库使用教程:产品和应用场景】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/87/detail/1344
产品和应用场景
课程提纲:
在线大数据计算引擎介绍
在线大数据计算引擎的应用场景
在线大数据计算上下游工具
产品概述:
分析型数据库(AnalyticDB,原名 ADS), 是阿里巴巴自主研发的能够满足海量数据实时多维分析的大数据产品。
分析型数据库基于飞天平台,拥有快速处理千亿级别的大数据的能力, 可以在毫秒级完成十亿百亿的数据计算,可以根据自己的想法在海量数据中自由的进行探索。
产品优势:
(1)海量数据计算能力
最高支持单表万亿记录、PB数据级别
(2)自由灵活的查询能力
通过 SQL 对海量数据灵活的进行多维分析、数据透视、数据筛选。
(3)极速的查询响应时间
毫秒级的百亿级数据多维透视
(4)多通道并行数据导入
离线通道、在线通道双模式并行数据导入,导入性能随集群规模线性扩展。
(5)精细化的安全机制
提供精确到列级别的权限管理和超细粒度用户操作审计,利用公私钥机制保护数据安全
(6)良好的兼容性
全面兼容MySQL协议(包括数据元信息),天生具备与商业分析工具、应用的兼容性,内置支持多种数据源数据快速接入,大幅度降低业务系统和商业软件的接入成本
应用场景概览
购买和创建阿里云分析型数据库
●进行试用和测试时建议购买按量付费,更加灵活
●正式生产试用时,建议购买包年包月(也可从按量付费转换) ,价格便宜
了解阿里云分析型数据库的特性-存储
了解阿里云分析型数据库的特性-计算
了解阿里云分析型数据库的特性-特色功能
数据如何进入阿里云分析型数据库
通过 load 命令从用户的 MaxCompute 批量导入
用户应用实时写入
通过数据集成 CDP 或 DatalDE 从其他数据源批量导入
通过数据传输 DTS 实时同步 RDS(MySQL) 中的数据
通过其他第三方工具如 Kettle 写入
批量导入类:
适合每天(或12小时/8小时)运行一次,同步过去的数据的业务需求;在小数据量下,批量导入任务运行的很慢(至少15分钟),在大数据量下(例如一次同步数千万到数亿条数据),批量导入相对速度很快;
实时写入类:
适合一次性同步数据量较小(<100w) ,或数据持续不断的实时进入的情况。一次性同步大量数据时性能较批量导入差。
应用连接池特别指导
●Java 应用推荐使用 DruidDataSource,但是不建议开启sq过滤等辅助功能
●整个数据库的连接数(读) 参考: min=Frontnode 的数量*5,
max=FRONTNODE 的数量*30
●心跳包:必须,建议 20-40s-次,建议使用 show status like
“%Service_ status%'
语句。无心跳包,2min 无查询自动断开连接。
●注意不要出现多个线程同时使用一个连接的情况
其他使用技巧
表结构优化:
https://help . aliyun.com/document detail/45390.htm.
查询优化:
https://help aliyun.com/document detail4539.html
写入性能优化:
https://help.aliyun.com/document detail/45392
SQL 语法:
https://help. aliyun.com/document detail/26408.html
用户元数据:
https://help aliyun.com/document detail/26429.html