docker

关注公众号 jb51net

关闭
首页 > 网站技巧 > 服务器 > 云和虚拟化 > docker > Docker Rocket

Docker安装部署单机版Rocket及基础讲解

作者：kaico2018

RocketMQ是阿里巴巴旗下一款开源的MQ框架，经历过双十一考研、Java编程语言实现，有非常好完整生态系统，这篇文章主要介绍了用Docker部署安装单机版Rocket及基础讲解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值

前言

目前主流的MQ主要是Rocketmq、kafka、Rabbitmq，Rocketmq相比于Rabbitmq、kafka具有主要优势特性有：

  1. 支持事务消息(能够解决分布式事务的问题)
  2. 支持顺序消息(底层已经使用内存队列实现)
  3. 支持consumer端tag过滤，减少不必要的网络传输

Rocketmq就是对kafka实现的升级版本。

优缺点

RocketMQ 优点

RocketMQ 缺点

常见名词介绍

消息生产者，位于用户的进程内，Producer通过NameServer获取所有Broker的路由信息，根据负载均衡策略选择将消息发到哪个Broker，然后调用Broker接口提交消息。

生产者组，简单来说就是多个发送同一类消息的生产者称之为一个生产者组。

消息消费者，位于用户进程内。Consumer通过NameServer获取所有broker的路由信息后，向Broker发送Pull请求来获取消息数据。Consumer可以以两种模式启动，广播（Broadcast）和集群（Cluster），广播模式下，一条消息会发送给所有Consumer，集群模式下消息只会发送给一个Consumer。

消费者组，和生产者类似，消费同一类消息的多个 Consumer 实例组成一个消费者组。

用于将消息按主题做划分，Producer将消息发往指定的Topic，Consumer订阅该Topic就可以收到这条消息。Topic跟发送方和消费方都没有强关联关系，发送方可以同时往多个Topic投放消息，消费方也可以订阅多个Topic的消息。在RocketMQ中，Topic是一个上逻辑概念。消息存储不会按Topic分开。

代表一条消息，使用MessageId唯一识别，用户在发送时可以设置messageKey，便于之后查询和跟踪。一个 Message 必须指定 Topic，相当于寄信的地址。Message 还有一个可选的 Tag 设置，以便消费端可以基于 Tag 进行过滤消息。也可以添加额外的键值对，例如你需要一个业务 key 来查找 Broker 上的消息，方便在开发过程中诊断问题。

可以被认为是对 Topic 进一步细化。一般在相同业务模块中通过引入标签来标记不同用途的消息。

是RocketMQ的核心模块，负责接收并存储消息，同时提供Push/Pull接口来将消息发送给Consumer。Consumer可选择从Master或者Slave读取数据。多个主/从组成Broker集群，集群内的Master节点之间不做数据交互。Broker同时提供消息查询的功能，可以通过MessageID和MessageKey来查询消息。Borker会将自己的Topic配置信息实时同步到NameServer。

Queue Topic和Queue是1对多的关系，一个Topic下可以包含多个Queue，主要用于负载均衡。发送消息时，用户只指定Topic，Producer会根据Topic的路由信息选择具体发到哪个Queue上。Consumer订阅消息时，会根据负载均衡策略决定订阅哪些Queue的消息。

是RocketMQ在存储消息时会为每个Topic下的每个Queue生成一个消息的索引文件，每个Queue都对应一个Offset记录当前Queue中消息条数。

NameServer可以看作是RocketMQ的注册中心，它管理两部分数据：集群的Topic-Queue的路由配置；Broker的实时配置信息。其它模块通过Nameserver提供的接口获取最新的Topic配置和路由信息。

通过查询接口获取Topic对应的Broker的地址信息

注册配置信息到NameServer， 实时更新Topic信息到NameServer

单机版安装部署

这里用作学习使用，所以使用docker安装，安装速度快。

1、安装启动nameserver服务

docker run -d -p 9876:9876 -v /opt/rocketmq/data/namesrv/logs:/root/logs -v /opt/rocketmq/data/namesrv/store:/root/store --name rmqnamesrv -e "MAX_POSSIBLE_HEAP=100000000" rocketmqinc/rocketmq sh mqnamesrv

2、安装启动broker服务

根据容器卷配置，在指定位置添加broker.conf内容 /opt/rocketmq/conf/broker.conf 。(可以不需要)

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
brokerIP1 = docker宿主机IP

启动broker服务

docker run -d -p 10911:10911 -p 10909:10909 -v  /opt/rocketmq/data/broker/logs:/root/logs -v  /opt/rocketmq/rocketmq/data/broker/store:/root/store -v  /opt/rocketmq/conf/broker.conf:/opt/rocketmq/conf/broker.conf --name rmqbroker --link rmqnamesrv:namesrv -e "NAMESRV_ADDR=namesrv:9876" -e "MAX_POSSIBLE_HEAP=200000000" rocketmqinc/rocketmq sh mqbroker -c /opt/rocketmq/conf/broker.conf

3、安装启动控制台

docker run -d -e "JAVA_OPTS=-Drocketmq.config.namesrvAddr=nameserIP:9876 -Drocketmq.config.isVIPChannel=false" -p 8080:8080 --name rmqconsole -t styletang/rocketmq-console-ng

集群部署

集群部署原理图

broker主备

主：

备：同步主节点的数据，当主节点宕机之后，可以从被变为主保证高可用。

在rocketmq中分为多主多从实现对我们topic数据实现分片存储。

四种集群部署方式

集群部署

集群的部署主要在于配置文件，nameserver部署好之后，多个broker的配置文件中配置同一个nameserver 集群的连接信息，broker集群就搭建好了。之后 Rocketmq-console 连接其中一个nameserver就可以了。

配置文件说明：

#集群名称，可以区分不同集群，不同的业务可以建多个集群，多个broker的配置文件中的该值必须一样
brokerClusterName=kaico

# Broker 的名称， Master 和Slave 通过使用相同的Broker 名称来表明相互关系，以说明某个Slave 是哪个Master 的Slave 。
brokerName=broker-a
#  一个Master Barker 可以有多个Slave, 0 表示Master ，大于0 表示不同Slave 的ID 。
brokerId=0 

#与fileReservedTim巳参数呼应，表明在几点做消息删除动作，默认值04 表示凌晨4 点。
deleteWhen=04
namesrvAddr=mqnameserver1:9876;mqnameserver2:9876
autoCreateTopicEnable=true  #是否自动创建主题（true为允许自动创建集群）
#topic默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭，默认【true】
autoCreateSubscriptionGroup=true
#Broker 监听的端口号，如果一台机器上启动了多个Broker ， 则要设置不同的端口号，避免冲突。
listenPort=10911
brokerIp=192.168.1.1

1、首先启动两个nameserver服务

2、启动多个broker服务（这里安排两个）

第一个broker配置文件

brokerClusterName=kaico  #集群名称
brokerName=broker-a     #broker的名称
brokerId=0              #master节点的标识（0表示是master节点）
namesrvAddr=mqnameserver1:9876;mqnameserver2:9876   #nameServer集群

第二个broker配置文件

brokerClusterName=kaico  #集群名称
brokerName=broker-b     #broker的名称
brokerId=0              #master节点的标识（0表示是master节点）
namesrvAddr=mqnameserver1:9876;mqnameserver2:9876   #nameServer集群

启动方式：

  1. 先启动nameServer服务
  2. 再去启动broker，在启动broker的命令中可以指定nameServer的连接信息。

到此这篇关于Docker安装部署单机版Rocket及基础讲解的文章就介绍到这了,更多相关Docker Rocket内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:
阅读全文