Redis-Cluster集群搭建

redis redis集群
redis
wmg
发布日期:   2021-11-04
文章字数:   2.4k
阅读次数:  

Redis-Cluster集群搭建

Redis作为基于键值对的NoSQL数据库，具有高性能、丰富的数据结构、持久化、高可用、分布式等特性，同时Redis本身非常稳定，已经得到业界的广泛认可和使用。

在Redis中，集群的解决方案有三种：

  1. 主从复制
  2. 哨兵机制
  3. Cluster

Redis Cluster是Redis的分布式解决方案，在 3.0 版本正式推出。

集群方案的对比

1. 主从复制

同Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，读写分离。一个Master可以有多个Slaves。

优点

  • 数据备份
  • 读写分离，提高服务器性能

缺点

  • 不能自动故障恢复,RedisHA系统（需要开发）
  • 无法实现动态扩容

2. 哨兵机制

Redis Sentinel是社区版本推出的原生高可用解决方案，其部署架构主要包括两部分：Redis Sentinel集群和Redis数据集群。

其中Redis Sentinel集群是由若干Sentinel节点组成的分布式集群，可以实现故障发现、故障自动转移、配置中心和客户端通知。Redis Sentinel的节点数量要满足2n+1（n>=1）的奇数个。

优点

  • 自动化故障恢复

缺点

  • Redis 数据节点中 slave 节点作为备份节点不提供服务
  • 无法实现动态扩容

3. Redis-Cluster

Redis Cluster是社区版推出的Redis分布式集群解决方案，主要解决Redis分布式方面的需求，比如，当遇到单机内存，并发和流量等瓶颈的时候，Redis Cluster能起到很好的负载均衡的目的。

Redis Cluster着眼于提高并发量。

群集至少需要3主3从，且每个实例使用不同的配置文件。

在redis-cluster架构中，redis-master节点一般用于接收读写，而redis-slave节点则一般只用于备份， 其与对应的master拥有相同的slot集合，若某个redis-master意外失效，则再将其对应的slave进行升级为临时redis-master。

在redis的官方文档中，对redis-cluster架构上，有这样的说明：在cluster架构下，默认的，一般redis-master用于接收读写，而redis-slave则用于备份，当有请求是在向slave发起时，会直接重定向到对应key所在的master来处理。 但如果不介意读取的是redis-cluster中有可能过期的数据并且对写请求不感兴趣时，则亦可通过readonly命令，将slave设置成可读，然后通过slave获取相关的key，达到读写分离。具体可以参阅redis官方文档等相关内容

img

优点

  • 解决分布式负载均衡的问题。具体解决方案是分片/虚拟槽slot。
  • 可实现动态扩容
  • P2P模式，无中心化

缺点

  • 为了性能提升，客户端需要缓存路由表信息
  • Slave在集群中充当“冷备”，不能缓解读压力

网络规划

这里没有搭建虚拟机环境，全部在本地部署。本机的ip为 192.168.5.37

ip port
172.18.0.3 7001
172.18.0.4 7002
172.18.0.5 7003
172.18.0.6 7004
172.18.0.7 7005
172.18.0.8 7006

配置docker内部网络

docker network create --subnet=172.18.0.0/16 redisnetwork

Redis配置文件

在docker环境中，配置文件映射宿主机的时候，(宿主机)必须有配置文件。附件在这里。大家可以根据自己的需求定制配置文件。

下边是我的配置文件 redis-cluster.tmpl

# redis端口
port ${PORT}
# 关闭保护模式(保护模式，默认值 yes，即开启。开启保护模式以后，需配置 bind ip 或者设置访问密码；关闭保护模式，外部网络可以直接访问)
protected-mode no
# 允许访问端口
bind 0.0.0.0  
# 登录密码(这里可以自己改 我的为123456)         
requirepass 123456
# 开启主节点访问认证(这里可以自己改 我的为123456)
masterauth  123456
# 开启集群
cluster-enabled yes
# 集群节点配置
cluster-config-file nodes.conf
# 超时
cluster-node-timeout 5000
# 集群节点IP host模式为宿主机IP
cluster-announce-ip 192.168.5.40
# 集群节点端口 7001 - 7006
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}
# 开启 appendonly 备份模式
appendonly yes
# 每秒钟备份
appendfsync everysec
# 对aof文件进行压缩时，是否执行同步操作
no-appendfsync-on-rewrite no
# 当目前aof文件大小超过上一次重写时的aof文件大小的100%时会再次进行重写
auto-aof-rewrite-percentage 100
# 重写前AOF文件的大小最小值 默认 64mb
auto-aof-rewrite-min-size 64mb

现在通过脚本 redis-cluster-config.sh 批量生成配置文件

for port in `seq 7001 7006`; do \
  mkdir -p ./redis-cluster/${port}/conf \
  && PORT=${port} envsubst < ./redis-cluster.tmpl > ./redis-cluster/${port}/conf/redis.conf \
  && mkdir -p ./redis-cluster/${port}/data; \
done

生成的配置文件如下图

img

Docker环境搭建

环境搭建

这里还是通过docker-compose进行测试环境的docker编排。

docker-compose.yml

version: '2'
networks:
  redisnetwork:
    external: true
services:
  cluster_7001:
    image: redis:6.0
    container_name: cluster_7001
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./redis-cluster/7001/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./redis-cluster/7001/data:/data
    ports:
      - 7001:7001
      - 17001:17001
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    restart: always
    hostname: cluster_7001
    networks:
    # 指定自定义网络和IP
      redisnetwork:
        ipv4_address: 172.18.0.3
  cluster_7002:
    image: redis:6.0
    container_name: cluster_7002
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./redis-cluster/7002/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./redis-cluster/7002/data:/data
    ports:
      - 7002:7002
      - 17002:17002
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    restart: always
    hostname: cluster_7002
    networks:
    # 指定自定义网络和IP
      redisnetwork:
        ipv4_address: 172.18.0.4
  cluster_7003:
    image: redis:6.0
    container_name: cluster_7003
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./redis-cluster/7003/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./redis-cluster/7003/data:/data
    ports:
      - 7003:7003
      - 17003:17003
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    restart: always
    hostname: cluster_7003
    networks:
    # 指定自定义网络和IP
      redisnetwork:
        ipv4_address: 172.18.0.5
  cluster_7004:
    image: redis:6.0
    container_name: cluster_7004
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./redis-cluster/7004/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./redis-cluster/7004/data:/data
    ports:
      - 7004:7004
      - 17004:17004
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    restart: always
    hostname: cluster_7004
    networks:
    # 指定自定义网络和IP
      redisnetwork:
        ipv4_address: 172.18.0.6
  cluster_7005:
    image: redis:6.0
    container_name: cluster_7005
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./redis-cluster/7005/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./redis-cluster/7005/data:/data
    ports:
      - 7005:7005
      - 17005:17005
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    restart: always
    hostname: cluster_7005
    networks:
    # 指定自定义网络和IP
      redisnetwork:
        ipv4_address: 172.18.0.7
  cluster_7006:
    image: redis:6.0
    container_name: cluster_7006
    command:
      ["redis-server", "/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./redis-cluster/7006/conf/redis.conf:/usr/local/etc/redis/redis.conf
      - ./redis-cluster/7006/data:/data
    ports:
      - 7006:7006
      - 17006:17006
    environment:
      # 设置时区为上海，否则时间会有问题
      - TZ=Asia/Shanghai
    restart: always
    hostname: cluster_7006
    networks:
    # 指定自定义网络和IP
      redisnetwork:
        ipv4_address: 172.18.0.8

配置完成在当前路径下运行

#构建镜像
docker-compose up -d

#运行成功后随便进入一个容器
docker exec -it cluster_7001 /bin/bash

#启动连接集群 注意ip和端口的对应关系
redis-cli -p 7001 -a 123456 --cluster create 172.18.0.3:7001 172.18.0.4:7002 172.18.0.5:7003 172.18.0.6:7004 172.18.0.7:7005 172.18.0.8:7006 --cluster-replicas 1

测试

进入容器内部运行以下指令

1. 查看集群通信是否正常

redis-cli -h 172.18.0.7 -p 7005 -a 123456 ping

Warning: Using a password with ‘-a’ or ‘-u’ option on the command line interface may not be safe.PONG

2. 测试简单存储

切换节点

redis-cli -h 172.18.0.5 -p 7003 -a 123456 -c

Warning: Using a password with ‘-a’ or ‘-u’ option on the command line interface may not be safe.

set name admin

get name

3. 查看集群状态

cluster nodes

4. 查看slots分片

cluster slots

5. 查看集群信息

cluster info

6.关闭集群

docker-compose down

SpringBoot配置Redis集群

在SpringBoot2.x版本中，redis默认的连接池已经更换为Lettuce，而不再是jedis。

1. 在pom.xml中引入相关依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-pool2</artifactId>
</dependency>

2. application.yml

spring:
  redis:
    timeout: 6000
    password: 123456
    cluster:
      max-redirects: 3 # 获取失败 最大重定向次数 
      nodes:
        - 192.168.5.40:7001
        - 192.168.5.40:7002
        - 192.168.5.40:7003
        - 192.168.5.40:7004
        - 192.168.5.40:7005
        - 192.168.5.40:7006
    lettuce:
      pool:
        max-active: 1000 #连接池最大连接数（使用负值表示没有限制）
        max-idle: 10 # 连接池中的最大空闲连接
        min-idle: 5 # 连接池中的最小空闲连接
        max-wait: -1 # 连接池最大阻塞等待时间（使用负值表示没有限制）
  cache:
    jcache:
      config: classpath:ehcache.xml

3. redis配置

@Configuration
@AutoConfigureAfter(RedisAutoConfiguration.class)
public class RedisConfig {
    @Bean
    public RedisTemplate<String, Object> redisCacheTemplate(LettuceConnectionFactory redisConnectionFactory) {
        RedisTemplate<String, Object> template = new RedisTemplate<>();
        template.setKeySerializer(new StringRedisSerializer());
        template.setValueSerializer(new GenericJackson2JsonRedisSerializer());
        template.setConnectionFactory(redisConnectionFactory);
        return template;
    }
}

4. 基本测试

@SpringBootTest
public class RedisTest {

    @Autowired
    private RedisTemplate<String, String> redisTemplate;

    @Test
    public void test() {
        redisTemplate.opsForValue().set("name", "admin");
        String name = redisTemplate.opsForValue().get("name");
        System.out.println(name); //输出admin
    }
}
文章作者: wmg
文章链接: http://wumangeng.github.io/2021/11/04/redis-ji-qun-da-jian/
版权声明: 本博客所有文章除特別声明外，均采用 CC BY 4.0 许可协议。转载请注明来源 wmg !
redis redis集群
赏
  目录