AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

tidb 分布式高可用架构

2017-11-12 2950
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
云数据库 RDS MySQL，高可用系列 2核4GB
简介：

 

架构图：

wKiom1gtcCWhUUA6AAAiJCTEifk249.png-wh_50

 

 

一、环境规划：

Pd node

192.168.9.42

192.168.15.57

Tikv node

192.168.15.2

192.168.15.2

192.168.15.23

tidb

192.168.15.57

192.168.15.104

VIP

192.168.15.219

Haproxy  -v

1.4.20

192.168.15.57


192.168.9.42

Keepalived-v

1.2.19

准备前工作：

A、同步系统时间

B、是否把刷屏日志写到一个文件里，可在启动命令后面追加到一个文件

/tmp/sh-error1.log 2>&1 &

C、不同版本需要的包glibc

D、启动服务开启守护进程要加nohup，

bash -c 'nohup command args... &'

E、系统版本为CENTOS6

F、包下载

http://down.51cto.com/data/2258987  ##CENTOS7

http://down.51cto.com/data/2259295  ##CENTOS6

http://down.51cto.com/data/2259848  ##pd tikv配置文件

友情提示：需要的其他包可以在其他章节博客里找到

 

G、IPTABLES 设置，需要开通集群使用的端口或者直接关闭

启动服务开启守护进程要加nohup

1、  下载包，解压后把命令存放在/usr/bin/目录下

 

#ln –s ……..

2、 修改57上pd配置文件，并启动：##默认参数不展示

name = "tidb_pd"

data-dir = "/home/tidb_pd"

client-urls = http://192.168.15.57:2379#本机

advertise-client-urls = ""

peer-urls = http://192.168.15.57:2380#本机

advertise-peer-urls =http://192.168.15.57:2380#本机

initial-cluster ="tidb57=http://192.168.15.57:2380,tidb104=http://192.168.15.104:2380"#为PD节点信息

initial-cluster-state = "new"

lease = 1

log-level = "debug"

tso-save-interval = "3s"

max-peer-count = 3

[balance]

min-capacity-used-ratio = 0.1

max-capacity-used-ratio = 0.9

address = ""

3、启动pd-server:

#bash -c 'nohup /usr/local/tidb/bin/pd-server--config=/usr/local/tidb/conf/pd.toml >>/tmp/aa.tx 2>&1   &' 

检查是否启动OK:

root@nod2 conf]# netstat -nletp |grep pd-server

tcp 0  0192.168.15.57:2379    0.0.0.0:* ……

tcp 0  0 192.168.15.57:2380   0.0.0.0:*  ……….

4、修改三个节点的tikv配置文件并 并启动  #####默认参数不展示

addr ="192.168.15.13:20160" #写各个节点IP

advertise-addr= ""

store = "/home/tikv13" 

log-level = "debug"  

job = "tikv_13"

endpoints = "192.168.15.57:2379,192.168.15.104:2379" #写PD的IP

#/usr/local/tidb/bin/tikv-server--config=/usr/local/tidb/conf/tikv.toml &

此方式启动没办法做到后台后台守护，需要在启动前加nohup

#bash -c 'nohup /usr/local/tidb/bin/tikv-server--config=/usr/local/tidb/conf/tikv.toml >>/tmp/aa.tx 2>&1   &'

直接这样启动  当前会话窗口不停的刷日志

5、启动tidb ##

#nohup /usr/local/tidb/bin/tidb-server--store=tikv --path="192.168.15.57:2379,192.168.15.104:2379" &

##--store=tikv为分布式是的引擎

 [root@nod2conf]# netstat -nltp |grep tidb

tcp        0     0 :::10080                   :::*                        LISTEN     

tcp        0     0 :::4000  

###基础点

4000:为服务监听端口

10080：服务状态监听端口，此端口展示

###基础操作tidb

TiDB内部数据用的，包括prometheus统计

http://192.168.15.57:10080/debug/pprof

http://192.168.15.57:10080/metrics

查看tidb状态信息：http://192.168.15.57:10080/status

{"connections":1,"version":"5.7.1-TiDB-1.0","git_hash":"01dde4433a0e5aabb183b3f6d00bd2f43107421a"}

查看集群状态，集群状态通过查看pd服务信息既可看到tikv信息

http://192.168.15.57:2379/pd/api/v1/stores

或者在本地查看 直接加curl 加地址

 

首次登录为：mysql –h192.168.15.57 –P4000 –uroot

mysql –h192.168.9.42 –P4000 –uroot

mysql> show databases;

+--------------------+

| Database          |

+--------------------+

| INFORMATION_SCHEMA |

| PERFORMANCE_SCHEMA |

| mysql             |

| test              |

| tidb              |

+--------------------+

登录后看到保存的元数据信息是相同的。集群OK    

5、在192.168.15.57 和192.168.9.42上都安装haproxy 和keepalived服务

         ##keepalived主要提供资源高可用，解决单点故障，实现VIP漂移

1、  解压配置haproxy

###配置HAPROXY 若同时启动haproxy,一边没有IP资源的会提示

 Startingproxy admin_stats: cannot bind socket导致服务无法启动，修改：

修改内核参数： /etc/sysctl.conf

net.ipv4.ip_nonlocal_bind=1

保存结果，使结果生效

sysctl  –p

#useradd haproxy

#tar -zxvf haproxy-1.4.20.tar.gz

#cd haproxy-1.4.20 &&makeTARGET=linux26 PREFIX=/usr/local/haproxy ARCH=X86_64 && makeinstallPREFIX=/usr/local/haproxy

若出现此问题，则需要安装gcc

#yum –y install gcc

#chown -R haproxy.haproxy/usr/local/haproxy

2、添加修改配置文件,部分解释参数配置意义（具体看haproxy.cfg)

   #cd /usr/local/haproxy && makeconf&&cdconf && touch haproxy.cfg

###注意前段页使面用的端口48800和前端提供服务的端口，开通IPTABLES访问权限，

端口不能有冲突

3、默认情况下haproxy是不记录日志的，可以使用rsync本例LINUX服务记录日志。

1、在linux下是rsyslogd服务，

#yum –yinstallrsyslog先安装rsyslog

一般安装好rsyslog会自动生成rsyslog.d这个目录，若无自己创建

 #cd/etc/rsyslog.d/ && touch haproxy.conf

#vim/etc/rsyslog.d/haproxy.conf

$ModLoad imudp

$UDPServerRun 514

 local0.* /var/log/haproxy.log ###这个必须和haproxy.cfg的配置文件一致。

#vim /etc/rsyslog.conf

在62行 添加local0.*       /var/log/haproxy.log

重启服务

#service rsyslogrestart

现在你就可以看到日志（/var/log/haproxy.log）了

Haproxy.cfg:

# this config needs haproxy-1.1.28 orhaproxy-1.2.1

 

global

    log127.0.0.1   local0

    maxconn4096

    log127.0.0.1   local1 notice

    #logloghost    local0 info

    #maxconn4096

    #chroot/usr/local/haproxy

    chroot/usr/local/pxc

    uid501

    gid501

    daemon

    nbproc1

    pidfile/usr/local/haproxy/logs/haproxy.pid

    #debug

    #quiet

defaults

    log global

    #option dontlognull

    retries 3

    option      redispatch

    maxconn 4096

    timeout     http-keep-alive 10s

    timeoutcheck 10s

    contimeout  600s

    clitimeout  600s

    srvtimeout  50000

    timeoutqueue   50000

    timeoutconnect 600s

    timeoutclient  600s

    timeoutserver  600s

listen admin_stats 192.168.15.219:48800

       stats enable

    statshide-version

       stats realm <realm>

    statsrefresh 5s

    statsuri /admin-status

       stats auth admin:admin

       stats admin if TRUE

       mode http

       option httplog

       timeout connect 600s

       timeout check 5000

       timeout client 600s

       timeout server 600s

 

listen  tidb_server192.168.15.219:3306

    modetcp

    balance roundrobin

    optiontcpka

    optiontcplog

    server  tidb_server1 192.168.15.57:4000 weight 1 checkinter 2000 rise 2 fall 5

    server  tidb_server2 192.168.9.42:4000  weight 1 check inter 2000 rise 2 fall 5backup

    #timeoutconnect 50000

    #timeoutclient  50000

    #timeoutcheck   50000

    #timeouthttp-keep-alive 5000

    #timeoutserver  50000

 

listen tidb_status 192.168.15.219:6688

    modetcp

    balanceroundrobin

    optiontcpka

    optiontcplog

    servertidb_status1 192.168.15.57:10080 weight 1 check inter 2000 rise 2 fall 5

    servertidb_status2 192.168.9.42:10080 weight 1 check inter 2000 rise 2 fall 5

    timeoutconnect 50000

       timeout client  50000

       timeout check   50000

       timeout http-keep-alive 5000

       timeout server  50000

listen tikv_server

    bind*:20160

    modetcp

       balance roundrobin

       option tcpka

       option tcplog

       server tikv_server1 192.168.15.2:20160 weight 1 check inter 2000 rise 2fall 5

       server tikv_server2 192.168.15.13:20160 weight 1 check inter 2000 rise 2fall 5

       server tikv_server3 192.168.15.23:20160 weight 1 check inter 2000 rise 2fall 5

       timeout connect 50000

       timeout client  50000

       timeout check   50000

       timeout http-keep-alive 5000

       timeout server  50000

6、安装keepalived服务:

#cd keepalived-1.2.12

#./configure--prefix=/usr/local/keepalived

若报错：

configure:error:

  !!! OpenSSL is notproperly installed on yoursystem. !!!

  !!! Can not include OpenSSL headersfiles.           !!!

 

yuminstall  openssl* check* -y

#make &&  make install

#cp/usr/local/keepalived/etc/rc.d/init.d/keepalived/etc/init.d/

#cp/usr/local/keepalived/etc/sysconfig/keepalived/etc/sysconfig/

#mkdir /etc/keepalived

#cp/usr/local/keepalived/etc/keepalived/keepalived.conf/etc/keepalived/

#cp/usr/local/keepalived/sbin/keepalived/usr/sbin/

 

Keepalived.conf:

cat keepalived.conf

! Configuration File for keepalived

 

global_defs {

  notification_email {

    acassen@firewall.loc

    failover@firewall.loc

    sysadmin@firewall.loc

   }

  notification_email_from Alexandre.Cassen@firewall.loc

  smtp_server 192.168.200.1

  smtp_connect_timeout 30

  router_id LVS_DEVEL

}

 

vrrp_instance VI_1 {

   state BACKUP

   interface em1

   virtual_router_id 51

   realserver 192.168.15.57

   priority 90

   advert_int 1

   authentication {

       auth_type PASS

       auth_pass 1111

    }

   virtual_ipaddress {

       192.168.15.219 dev em1 scope global

    }

#notify_master/etc/keepalived/check_master_haproxy.sh

#notify_master/etc/keepalived/check_backup_haproxy.sh

}

###注意这里需要写个简单的脚本判断haproxy和keepalived服务的高可用，若出现故障进行切换。脚本略

##把tikv，tidb,pd都加到haproxy里去，不知道会不会影响效率，若是有还是老老实实的使用原生态界面查看


wKioL1gtb9uxQbuRAAG4WKLNZnQ186.png-wh_50

##在负载均衡，可以替换的有maxscale也是不错的，，，配置简单，就是没有监控界面



本文转自 DBAspace 51CTO博客，原文链接:http://blog.51cto.com/dbaspace/1873964

文章标签：
云数据库 RDS MySQL 版
日志服务
监控
C语言
Linux
关键词：
分布式架构
高可用架构
分布式高可用
tidb架构
tidb分布式
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL，然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
科技小能手
目录
相关文章
卷福同学
|
11天前
|
存储 缓存 NoSQL
分布式系统架构8：分布式缓存
本文介绍了分布式缓存的理论知识及Redis集群的应用，探讨了AP与CP的区别，Redis作为AP系统具备高性能和高可用性但不保证强一致性。文章还讲解了透明多级缓存（TMC）的概念及其优缺点，并详细分析了memcached和Redis的分布式实现方案。此外，针对缓存穿透、击穿、雪崩和污染等常见问题提供了应对策略，强调了Cache Aside模式在解决数据一致性方面的作用。最后指出，面试中关于缓存的问题多围绕Redis展开，建议深入学习相关知识点。
卷福同学
87 8
卷福同学
|
30天前
|
存储 Prometheus Cloud Native
分布式系统架构6：链路追踪
本文深入探讨了分布式系统中的链路追踪理论，涵盖追踪与跨度的概念、追踪系统的模块划分及数据收集的三种方式。链路追踪旨在解决复杂分布式系统中请求流转路径不清晰的问题，帮助快速定位故障和性能瓶颈。文中介绍了基于日志、服务探针和边车代理的数据收集方法，并简述了OpenTracing、OpenCensus和OpenTelemetry等链路追踪协议的发展历程及其特点。通过理解这些概念，可以更好地掌握开源链路追踪框架的使用。
卷福同学
84 41
卷福同学
|
14天前
|
存储 缓存 安全
分布式系统架构7：本地缓存
这是小卷关于分布式系统架构学习的第10篇文章，主要介绍本地缓存的基础理论。文章分析了引入缓存的利弊，解释了缓存对CPU和I/O压力的缓解作用，并讨论了缓存的吞吐量、命中率、淘汰策略等属性。同时，对比了几种常见的本地缓存工具（如ConcurrentHashMap、Ehcache、Guava Cache和Caffeine），详细介绍了它们的访问控制、淘汰策略及扩展功能。
卷福同学
37 6
技术小达人
|
17天前
|
存储 关系型数据库 分布式数据库
[PolarDB实操课] 01.PolarDB分布式版架构介绍
《PolarDB实操课》之“PolarDB分布式版架构介绍”由阿里云架构师王江颖主讲。课程涵盖PolarDB-X的分布式架构、典型业务场景（如实时交易、海量数据存储等）、分布式焦点问题（如业务连续性、一致性保障等）及技术架构详解。PolarDB-X基于Share-Nothing架构，支持HTAP能力，具备高可用性和容错性，适用于多种分布式改造和迁移场景。课程链接：[https://developer.aliyun.com/live/253957](https://developer.aliyun.com/live/253957)。更多内容可访问阿里云培训中心。
技术小达人
33 0
[PolarDB实操课] 01.PolarDB分布式版架构介绍
卷福同学
|
2月前
|
设计模式 存储 算法
分布式系统架构5：限流设计模式
本文是小卷关于分布式系统架构学习的第5篇，重点介绍限流器及4种常见的限流设计模式：流量计数器、滑动窗口、漏桶和令牌桶。限流旨在保护系统免受超额流量冲击，确保资源合理分配。流量计数器简单但存在边界问题；滑动窗口更精细地控制流量；漏桶平滑流量但配置复杂；令牌桶允许突发流量。此外，还简要介绍了分布式限流的概念及实现方式，强调了限流的代价与收益权衡。
卷福同学
83 11
卷福同学
|
2月前
|
设计模式 监控 Java
分布式系统架构4：容错设计模式
这是小卷对分布式系统架构学习的第4篇文章，重点介绍了三种常见的容错设计模式：断路器模式、舱壁隔离模式和重试模式。断路器模式防止服务故障蔓延，舱壁隔离模式通过资源隔离避免全局影响，重试模式提升短期故障下的调用成功率。文章还对比了这些模式的优缺点及适用场景，并解释了服务熔断与服务降级的区别。尽管技术文章阅读量不高，但小卷坚持每日更新以促进个人成长。
卷福同学
57 11
卷福同学
|
2月前
|
消息中间件 存储 安全
分布式系统架构3：服务容错
分布式系统因其复杂性，故障几乎是必然的。那么如何让系统在不可避免的故障中依然保持稳定？本文详细介绍了分布式架构中7种核心的服务容错策略，包括故障转移、快速失败、安全失败等，以及它们在实际业务场景中的应用。无论是支付场景的快速失败，还是日志采集的安全失败，每种策略都有自己的适用领域和优缺点。此外，文章还为技术面试提供了解题思路，助你在关键时刻脱颖而出。掌握这些策略，不仅能提升系统健壮性，还能让你的技术栈更上一层楼！快来深入学习，走向架构师之路吧！
卷福同学
71 11
技术自由圈/原疯狂创客圈
|
4月前
|
NoSQL Java Redis
太惨痛： Redis 分布式锁 5个大坑，又大又深， 如何才能 避开 ？
Redis分布式锁在高并发场景下是重要的技术手段，但其实现过程中常遇到五大深坑：**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能，还可能导致数据不一致。尼恩在实际项目中总结了这些坑，并提供了详细的解决方案，包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助，值得深入学习和实践。
技术自由圈/原疯狂创客圈
684 1
太惨痛： Redis 分布式锁 5个大坑，又大又深， 如何才能 避开 ？
蓝易云
|
2月前
|
存储 NoSQL Java
使用lock4j-redis-template-spring-boot-starter实现redis分布式锁
通过使用 `lock4j-redis-template-spring-boot-starter`，我们可以轻松实现 Redis 分布式锁，从而解决分布式系统中多个实例并发访问共享资源的问题。合理配置和使用分布式锁，可以有效提高系统的稳定性和数据的一致性。希望本文对你在实际项目中使用 Redis 分布式锁有所帮助。
蓝易云
180 5
喜欢猪猪
|
3月前
|
NoSQL Java 数据处理
基于Redis海量数据场景分布式ID架构实践
【11月更文挑战第30天】在现代分布式系统中，生成全局唯一的ID是一个常见且重要的需求。在微服务架构中，各个服务可能需要生成唯一标识符，如用户ID、订单ID等。传统的自增ID已经无法满足在集群环境下保持唯一性的要求，而分布式ID解决方案能够确保即使在多个实例间也能生成全局唯一的标识符。本文将深入探讨如何利用Redis实现分布式ID生成，并通过Java语言展示多个示例，同时分析每个实践方案的优缺点。
喜欢猪猪
95 8

热门文章

最新文章

  • 1
    深入剖析Transformer架构中的多头注意力机制
  • 2
    《docker基础篇：2.Docker安装》包括前提说明、Docker的基本组成、Docker平台架构图解(架构版)、安装步骤、阿里云镜像加速、永远的HelloWorld、底层原理
  • 3
    《鸿蒙HarmonyOS应用开发从入门到精通（第2版）》学习笔记——HarmonyOS架构介绍
  • 4
    面向AI的服务器计算软硬件架构实践和创新
  • 5
    StockMixer：上海交大推出预测股票价格的 MLP 架构，通过捕捉指标、时间和股票间的复杂相关性，预测下一个交易日的收盘价
  • 6
    Paimon助力数据湖仓架构实时化升级
  • 7
    ClickHouse 架构原理及核心特性详解
  • 8
    深度强化学习中SAC算法：数学原理、网络架构及其PyTorch实现
  • 9
    架构学习：7种负载均衡算法策略
  • 10
    阿里云服务器ECS架构区别及选择参考：X86计算、ARM计算等架构介绍
  • 1
    新一代数据库技术：融合人工智能与分布式系统的未来前景
    394
  • 2
    【MongoDB 专栏】MongoDB 的分布式事务解决方案
    412
  • 3
    LabVIEW使用ModbusTCP协议构建分布式测量系统
    212
  • 4
    分布式搜索引擎ElasticSearch
    329
  • 5
    基于若依的ruoyi-nbcio流程管理系统修改代码生成的sql菜单id修改成递增id（谨慎修改，大并发分布式有弊端）
    141
  • 6
    一文说清楚IPFS分布式存储系统
    1672
  • 7
    LabVIEW中CPU和内存使用情况在NI分布式系统管理器中不可见
    101
  • 8
    构建高可用性Java应用：介绍分布式系统设计与开发
    99
  • 9
    Springboot-Jedis实现分布式锁
    125
  • 10
    分布式数据库有哪几种
    131

    • 相关课程

    更多
  • 云原生架构实践
  • Serverless 架构在软件研发工程实践方面的价值
  • Spring Boot+Vue.js+FastDFS实现分布式图片服务器
  • 基于Zookeeper、Dubbo构建互联网分布式基础架构
  • 分布式文件存储系统技术及实现
  • 分布式协调系统 Zookeeper 快速入门

    • 相关电子书

    更多
  • 高并发分布式缓存Redis6.0
  • 基于社区的分布式 风险感知模型
  • 如何利用Redisson分布式化传统Web项目

    • 相关实验场景

    更多
  • 体验PolarDB-X透明分布式
  • 基于Hologres轻量实时的高性能OLAP分析
  • 每个IT人都想学的“Web应用上云经典架构”实战
  • MySQL引擎及架构优化
  • 基于EBS部署高性能的MySQL服务
  • 云原生HTAP数据库，让你的交易和分析一库搞定
    • 下一篇
    阿里云上1分钟搞定幻兽帕鲁联机服务器搭建