数据切分——Atlas介绍

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS AI 助手,专业版
RDS Agent(兼容OpenClaw),2核4GB
简介:         Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。

        Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条。同时,有超过50家公司在生产环境中部署了Atlas,超过800人已加入了我们的开发者交流群,并且这些数字还在不断增加。


       Atlas名字的由来:


       Atlas希腊神话中双肩撑天的巨人,普罗米修斯的兄弟,最高大强壮的神之一,因反抗宙斯失败而被罚顶天360期望这个系统能够脚踏后端DB,为前端应用撑起一片天。


        Why Atlas?


        mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡,读写分离,failover等,但其不支持大数据量的分库分表且性能较差。


      

        Atlas相对于官方MySQL-Proxy的优势

            1.将主流程中所有Lua代码用C重写,Lua仅用于管理接口

            2.重写网络模型、线程模型

            3.实现了真正意义上的连接池

            4.优化了锁机制,性能提高数十倍



        Atlas架构设计:


        Atlas是一个位于应用程序与MySQL之间中间件。在后端DB看来,Atlas相当于连接它的客户端,在前端应用看来,Atlas相当于一个DB。Atlas作为服务端与应用程序通讯,它实现了MySQL的客户端和服务端协议,同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节,同时为了降低MySQL负担,它还维护了连接池。

     

         


          Atlas功能特点及常见问题:

1.Atlas是否支持多字符集?

对多字符集的支持是我们对原版MySQL-Proxy的第一项改进,符合国情是必须的。并且支持客户端在连接时指定默认字符集。

2.Atlas是否支持事务操作?

支持,且处于事务状态的客户端中途退出时,Atlas会销毁该客户端使用的连接,让后台的mysql回滚事务,保证了事务的完整性。

3.自动读写分离挺好,但有时候我写完马上就想读,万一主从同步延迟怎么办?

SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。

4.主库宕机,读操作受影响么?

在Atlas中读操作不受影响,Atlas会将读请求转发到其他还存活的从库上。但此时写请求将会失败,因为主库宕机了。

5.检测后端DB状态会阻塞正常请求么?

不会, atlas中检测线程是异步进行检测的,即使有db宕机,也不会阻塞主流程。在Atlas中没有什么异常会让主流程阻塞。

6.想下线一台DB, 又不想停掉mysql server, 怎么办?

可以通过管理接口手动上下线后端db, Atlas会优先考虑管理员的意愿。

7.想给集群中增加一台DB, 不想影响线上正常访问可以吗?

通过管理接口可以轻松实现。

8.相比官方mysql-proxy, Atlas还有哪些改进?

A: 这实在是个难以回答的问题,性能,稳定性,可靠性,易维护性,我们做过几十项的改进,下面会尽量列一些较大的改动

9.Atlas支持mysql的prepare特性吗?

目前Atlas部分支持prepare功能,支持java,python,PHP(PDO方式)。

10.Altas支持多个主库的运行模式吗?

目前还未对于Atlas后面挂接多个主库的情形进行测试过,不建议这样使用。建议使用一主一从或一主多从的模式。

11.在使用Atlas的过程中,发现了Atlas存在的bug或者对Atlas有新的功能需求,如何反馈给开发者?

对于用户反馈的bug,我们非常重视。欢迎用户将bug的复现的环境、步骤和运行截图发邮件至zhuchao[AT]360.cn。同时如果用户在实际的应用场景中,对Atlas有新的功能需求,也可以向我们发邮件,我们将及时回复。另外有热心网友建了QQ群326544838,开发者也已经加入,方便讨论。

12.java程序连接Atlas出现乱码问题

把jdbc连接中的amp;删除掉,例如:将

jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true
修改为:

jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true

13.监控主从同步之间的延迟?

Atlas不负责MySQL的主从同步操作,需要DBA自己管理。

14.java程序连接Atlas发现不能读写分离,所有的请求都发向主库,这是为什么?

检查一下java框架,是不是默认将autocommit设置为0了,很多java框架将语句都封装在一个事务中,而Atlas会将事务请求都发向主库。

15.Atlas有sql语句黑名单过滤机制吗?

有的,Atlas会屏蔽不带where条件的delete和update操作,以及sleep函数。


         

       

       

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
运维 监控 网络安全
全能型终端工具MobaXtermv23.0专业版
全能型终端工具MobaXtermv23.0专业版
762 0
|
安全 Linux 数据安全/隐私保护
国内外四款强大的远控使用体验:ToDesk、向日葵、AnyDesk、Microsoft 远程桌面横向比较
国内外四款强大的远控使用体验:ToDesk、向日葵、AnyDesk、Microsoft 远程桌面横向比较
2908 0
|
9月前
|
存储 Devops Shell
Supercharge Your DevOps: A Guide to GitHub Container Registry (GHCR.io)
GitHub Container Registry(GHCR.io)是 GitHub 提供的容器镜像托管服务,支持 Docker 和 OCI 镜像。它与 GitHub 生态深度集成,提供细粒度权限控制、高性能 CI/CD 支持、多架构镜像管理及成本优势。开发者可直接在 GitHub 平台上构建、存储和部署容器,提升 DevOps 效率并简化流程。
1129 1
|
8月前
|
消息中间件 安全 物联网
海量接入、毫秒响应:易易互联基于 Apache RocketMQ + MQTT 构筑高可用物联网消息中枢
易易互联科技有限公司是吉利集团旗下专注于换电生态的全资子公司,致力于打造安全、便捷、便宜的智能换电网络。公司依托吉利GBRC换电平台,基于电池共享与车辆全生命周期运营,已布局超470座换电站,覆盖40多个城市,计划2027年达2000座。面对海量设备高并发连接、高实时性要求及数据洪峰挑战,易易互联采用阿里云MQTT与RocketMQ构建高效物联网通信架构,实现稳定接入、低延迟通信与弹性处理,全面支撑其全国换电网络规模化运营与智能化升级。
511 1
海量接入、毫秒响应:易易互联基于 Apache RocketMQ + MQTT 构筑高可用物联网消息中枢
|
JSON 前端开发 JavaScript
SpringBoot 2.0 多图片上传加回显
本文记录了在SpringBoot 2.0中实现商户注册后台功能时,处理多图片上传及回显的过程。通过使用`MultipartFile[]`接收前端传来的图片文件,并确保前后端参数名一致。展示了Controller、前端HTML和JS代码,以及配置文件中对上传图片大小的设置。还介绍了全局异常处理机制,使用`@ControllerAdvice`注解捕获异常。最后总结了一些常见问题及解决方法。
352 0
SpringBoot 2.0 多图片上传加回显
|
消息中间件 存储 Cloud Native
基于 RocketMQ 的云原生 MQTT 消息引擎设计
基于 RocketMQ 的云原生 MQTT 消息引擎设计
670 1
|
NoSQL 关系型数据库 MySQL
Redis私有云平台-Cachecloud安装和部署手册
Redis私有云平台-Cachecloud安装和部署手册
|
存储 测试技术 API
pytest接口自动化测试框架搭建
通过上述步骤,我们成功搭建了一个基于 `pytest`的接口自动化测试框架。这个框架具备良好的扩展性和可维护性,能够高效地管理和执行API测试。通过封装HTTP请求逻辑、使用 `conftest.py`定义共享资源和前置条件,并利用 `pytest.ini`进行配置管理,可以大幅提高测试的自动化程度和执行效率。希望本文能为您的测试工作提供实用的指导和帮助。
2170 15
做了多年开发的你发现自己的水平一直上不去,一篇文章教你如何提高开发水平的方法(二)
做了多年开发的你发现自己的水平一直上不去,一篇文章教你如何提高开发水平的方法
做了多年开发的你发现自己的水平一直上不去,一篇文章教你如何提高开发水平的方法(二)
idea快捷键:全局搜索文件,代码,接口,ctrl+shift+f无效?也可以点击Edit 点击Find Replace in path
idea快捷键:全局搜索文件,代码,接口,ctrl+shift+f无效?也可以点击Edit 点击Find Replace in path

热门文章

最新文章