云数据库ClickHouse支持通过创建RDS MySQL分析实例将RDS MySQL数据同步至云数据库ClickHouse。 使用限制 - 云数据库ClickHouse的云原生版集群不支持RDS MySQL分析实例。 - 目标实例只支持20.8及其以上版本的云数据库ClickHouse社区兼容版集群。 - 用户具有RDS MySQL的Binlog访问权限以及RDS MySQL数据库的RELOAD、REPLICATION SLAVE、REPLICATION CLIENT和SELECT权限。 - RDS MySQL实例版本需满足以下条件才可以创建RDS MySQL分析实例: RDS MySQL 8.0三节点企业版 RDS MySQL 8.0高可用版(SSD云盘、ESSD云盘或本地SSD盘) RDS MySQL 5.7三节点企业版 RDS MySQL 5.7高可用版(SSD云盘、ESSD云盘或本地SSD盘) RDS MySQL 5.6 - RDS MySQL源实例和云数据库ClickHouse目标实例在必须在同一地域、同一VPC网络。 - 同一集群的同一数据库不能重复配置同步任务。 没有主键的表无法同步。 - 云数据库ClickHouse的DateTime类型数据的时间范围为[1970-01-01 00:00:00,2106-02-07 06:28:15],如果RDS MySQL中的时间超出当前范围,会导致同步到云数据库ClickHouse的时间值不正确。
可以使用Bifrost ---- 面向生产环境的 MySQL,MariaDB 同步到Redis,ClickHouse,Elasticsearch等服务的异构中间件
Bifrost 特点 - 支持 MySQL,MariaDB 所有存储类型 - 界面化动态灵活配置不同的数据表及目标库 - 多种数据源,多种目标库支持 - 同时支持增量及全量数据同步 - 一个Binlog解析线程,多个目标库并行同步 - 宕机后重启自动恢复配置,位点精确控制 - 支持 Email 及 微信企业号等监控报警功能 - 提供第三方监控平台访问接口(Http Basic验证)HTTP API - MySQL,ClickHouse 插件支持 DDL 同步 - 简单即可实现插件开发
一直在寻找如何存储大数据的解决办法,碰巧在技术网站上了解到了Clickhouse,能支撑几十亿甚至百亿以上的数据量,顿时我觉得有必要去部署一套用用。
这个有两种情况,首先要看你说的mysql是自行下载安装的mysql官网的本地数据库,还是直接用的阿里云的RDS MySQL数据库:
如果是本地的数据库服务,那么你需要参考云数据库clickhouse的官方文档【从本地数据导入】,文档地址:https://help.aliyun.com/document_detail/146005.html,这里需要通过clickhouse-client工具将本地文件的数据导入至云数据库ClickHouse,具体的clickhouse-client工具的安装以及详细的操作步骤都可以参考上面的文档,另外具体支持的本地数据文件的格式可以参考地址:https://clickhouse.com/docs/zh/interfaces/formats,操作中需要注意的是【请提前将本地机器的IP地址添加到云数据库ClickHouse的白名单中】;
如果是RDS MySQL数据库,那操作就简单了,毕竟是一个体系的产品,跨度也就相对没那么大,操作详细步骤参考:https://help.aliyun.com/document_detail/196622.html,云数据库ClickHouse支持通过创建RDS MySQL分析实例将RDS MySQL数据同步至云数据库ClickHouse,还有其他疑问的话欢迎继续交流
直接使用阿里云ClickHouse内置的同步功能即可,请参考如下文档 https://help.aliyun.com/document_detail/196622.html?scm=20140722.S_help%40%40%E6%96%87%E6%A1%A3%40%40196622..ID_196622-RL%E5%AE%89%E5%8D%93%E5%81%9A%E4%BA%91%E6%95%B0%E6%8D%AE%E5%BA%93-LOC_main-OR_ser-V_2-P0_71
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。