百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

阿里云核心组件rocketmq,消息队列集群搭建,轻松搞定

csdh11 2025-02-27 14:48 22 浏览

消息队列作为高并发系统的核心组件之一,能够帮助业务系统解构提升开发效率和系统稳定性。



(一)rocketMQ

官网:
http://rocketmq.apache.org/

开源的分布式消息和流处理,流处理这块原来只有kafka这样说,因为rocketMq本身做的也比较好,它也加上了kafka这句话,意思我也很强。



Github:https://github.com/apache/rocketmq/

目前最新的版本是4.5.0



Github:https://github.com/alibaba

这里已经找不到rocketMq了,因为已经捐献给apache了,之前的很多资料官方都不提供了,唯一有的就是上边rocketMq的官网。



  • 开发的动机

在早期阶段,我们构建了基于ActiveMQ5.x(早于5.3)的分布式消息中间件。我们的跨国企业使用它进行异步通信、搜索、社交网络活动流、数据管道,甚至在其程中。随着我们的业务吞吐量增加,来自我们的消息传递集群的压力也变得紧迫。

  • 为什么开发RocketMQ

基于我们的研究,随着队列的增加和虚拟主题的使用,ActiveMQ IO模块遇到了瓶颈。我们尽力通过节流、路由或降级来解决这个问题,但效果并不好。所以我们开始关注流行的消息传递解决方案Kafka。不幸的是,Kafka不能满足我们的要求,特别是在低延迟和高可靠性方面。在这种情况下,我们决定发明一个新的消息传递引擎来处理更广泛的用例集,从传统的pub/sub场景到大容量的实时零损失容忍事务系统。我们相信这个解决方案是有益的,所以我们希望向社区开放源代码。



  • 下载rocketmq源码







(二)rocketmq环境搭建

(一)安装虚拟机

源码:
https://github.com/limingios/netFuture/tree/master/jms,可以查看,之前的文章,vagrant的介绍docker【中级】。



  • 环境

192.168.89.100

192.168.89.101

每台服务器1主1从,2M-2S-SYNC(两主两从同步写)

相关安装包存储路径:/root/soft/



  • 下载

89.100主机

Apache: http://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip

wget http://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip
yum -y install unzip
unzip rocketmq-all-4.2.0-bin-release.zip -d /root/rocketmq





安装JDK 新的版本要求JDK1.8以上的

192.168.89.100 和192.168.89.101都要安装

源码:jms目录下的pro.sh

#通过vi 直接复制进去也可以
#但是一定要记住增加权限
chmod 777 pro.sh
./pro.sh



 
# @Author: liming
# @Date: 2018-11-26 23:14:59
# @Last Modified by: liming
# @Last Modified time: 23:15:05
# @urlblog idig8.com
# 个人公众号 编程坑太多
#!/bin/bash
SOFT_PATH=/opt/soft
if [ ! -d $SOFT_PATH ];then
mkdir $SOFT_PATH
else
echo "文件夹已经存在"
fi
yum install -y wget 
#install jdk1.8
cd $SOFT_PATH
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"
tar -zxvf jdk* -C $SOFT_PATH
cd jdk*
JAVA_HOME=`pwd` 
#install maven3.2.3
cd $SOFT_PATH
wget https://archive.apache.org/dist/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz
tar -zxvf apache-maven-3.2.3-bin.tar.gz -C $SOFT_PATH
mv apache-maven-3.2.3 maven-3.2.3
cd maven*
MAVEN_HOME=`pwd`
#install git 2.8.0
cd $SOFT_PATH
yum -y install zlib-devel openssl-devel cpio expat-devel gettext-devel curl-devel perl-ExtUtils-CBuilder perl-ExtUtils- MakeMaker
wget https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.8.0.tar.gz
tar -zxvf git-2.8.0.tar.gz -C $SOFT_PATH
cd git*
./configure
make install
ln -s /usr/local/bin/git /usr/bin/git
#追加环境变量
echo "export JAVA_HOME=${JAVA_HOME}" >> /etc/profile
echo "export PATH=$""JAVA_HOME/bin:$""PATH" >> /etc/profile
echo "export MAVEN_HOME=${MAVEN_HOME}" >> /etc/profile
echo "export PATH=$""MAVEN_HOME/bin:$""PATH" >> /etc/profile
source /etc/profile
#输出信息
echo "-----source update-----"
echo "java version"
java -version
echo "maven version"
mvn -v
echo "-----path-----"
echo "JAVA_HOME:"$JAVA_HOME
echo "MAVEN_HOME:"$MAVEN_HOME
source /etc/profile

再次更新环境变量

192.168.89.100 和192.168.89.101都要

source /etc/profile

配置host

192.168.89.100 和192.168.89.101都要

vi /etc/hosts
192.168.89.100 rocketmq1
192.168.89.101 rocketmq2





配置环境变量

192.168.89.100 和192.168.89.101都要

echo "export ROCKETMQ_HOME=/root/rocketmq" >> /etc/profile
echo "export PATH=$PATH::$ROCKETMQ_HOME/bin" >> /etc/profile
source /etc/profile



192.168.89.100 进行配置

cd /root/rocketmq/conf/2m-2s-sync
ll



192.168.89.100配置

源码:包中jms 里面配置好了2m-2s-sync

直接覆盖就可以了。具体配置下面会说。按照文件名

yum -y install lrzsz
rz -y



192.168.89.100创建存储&日志文件

mkdir /root/rocketmq/data
mkdir /root/rocketmq/data/store
mkdir /root/rocketmq/data/store/commitlog
mkdir /root/rocketmq/data/store/consumequeue
mkdir /root/rocketmq/data/store/index
mkdir /root/rocketmq/data/store-slave
mkdir /root/rocketmq/data/store-slave/index
mkdir /root/rocketmq/data/store-slave/commitlog
mkdir /root/rocketmq/data/store-slave/consumequeue
mkdir -p /root/rocketmq/logs
cd /root/rocketmq/conf && sed -i 's#${user.home}#/root/rocketmq#g' *.xml




192.168.89.100改参数

runbroker.sh,runserver.sh启动参数默认对jvm的堆内存设置比较大(不改启动不起来),如果是虚拟机非线上环境需要改下参数

cd /root/rocketmq/bin
vi runbroker.sh
vi runserver.sh
#默认大小
-Xms8g -Xmx8g -Xmn4g
改为:
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"
cd /root/rocketmq/bin
vi runserver.sh




vi runbroker.sh



192.168.89.100复制到192.168.89.101

cd /root/
scp -r rocketmq/ root@192.168.89.101:/root/



192.168.89.100和192.168.89.101

增加权限

cd /root/rocketmq/bin
chmod 777 * 

192.168.89.100启动Nameserver服务 和 BrokerServer服务

cd /root/rocketmq/bin
sh mqnamesrv &
sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-a.properties &
sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-b-s.properties &





192.168.89.101启动Nameserver服务 和 BrokerServer服务

cd /root/rocketmq/bin
sh mqnamesrv &
sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-b.properties &
sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-a-s.properties &




测试查看集群

 sh mqadmin clusterlist -n 192.168.89.100:9876



测试发送

export NAMESRV_ADDR='rocketmq1:9876;rocketmq2:9876'
#测试发送端
sh /root/rocketmq/bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
#测试消费端
sh /root/rocketmq/bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer




服务停止

cd /root/rocketmq/bin
sh mqshutdown broker
sh mqshutdown namesrv
#或者直接jps,然后kill -9 进程ID

PS:终于安装成功了,2主2从。特别注意的是在broker的properties文件我都在源码上传的。但是里面有个属性一定要注意:默认不配置brokerIP1和brokerIP2时,都会根据当前网卡选择一个IP使用,当你的机器有多块网卡时,很有可能会有问题。brokerIP1一定要填写IP不要填写别名。否则java连接就会出现
RemotingTooMuchRequestException: sendDefaultImpl call timeout;

坚持原创的35岁IT老兵!感谢您能够看完这篇文章!感谢关注,评论,转发!

相关推荐

全能硬件大师AIDA64 v4.60 最新绿色版下载

IT之家(www.ithome.com):全能硬件大师AIDA64v4.60最新绿色版下载今天,国外FinalWire公司正式发布全能系统硬件大师AIDA64v4.60最新版。本次新版加入14款...

2023年4款Mac软件推荐,绝不失望(mac2020i3)

1.VDown-免费下载视频是最近mac上出现的免费的视频下载软件,支持超过900多个站点,虽然看上去支持的站点略少于Downie,但是熟悉的网站B站,Youku全部都有,国外的站点,只要有办法访问...

实验设计和数据分析必不可少的Design-expert,谁还不会用呢?

Design-Expert软件介绍...

关于视频格式的那些事儿(视频格式作用)

闲暇之余,相信很多人的选择就是看视频。电视剧、综艺、手机短视频,总有一款适合你。然而播放这些视频时,你是否注意到了文件名后各种各样的后缀名了呢?是否会好奇为什么会存在这么多视频格式?不同的格式是不是影...

机器人学习也要提速提质!智元机器人发布首个通用具身基座大模型

去年已实现量产近千台的人形机器人公司智元机器人再度对外宣布重磅消息。3月10日,该公司正式发布首个通用具身基座大模型,即智元启元大模型(GenieOperator-1)。“GO-1大模型借助人类和多...

软网推荐:硬盘管理用好Macrorit Partition Expert

平时我们经常需要对硬盘进行管理,比如为了释放空间,需要将隐藏分区删除并重建分区;出于隐私保护,需要彻底删除硬盘分区上的数据;硬盘出现坏道需要将其屏蔽等等。诸如此类的操作,现在借助免费且图形化操作的分区...

Design-Expert 12.0 安装教程(附安装包下载)

Design-Expert12.0软件介绍是一款由Stat-EaseInc开发的专用于执行实验设计(DOE)的软件。它提供比较测试、筛选、表征、优化、稳健的参数设计、混合物设计和组合设计等功能,并...

不用在PLC内编程,实现西门子与罗克韦尔(AB)PLC之间数据通讯

巨控NET400数据网关支持多种PLC之间、PLC与智能仪表之间多对多通讯,支持以太网,串口设备混合数据交换;无需PLC内编程开发,只需在智能网关的参数管理软件上配置数据的起始地址和数量即可,支持热插...

S7-1500PLC做OPC UA通信服务器(s7-1200 opc ua)

OPCUA概述OPCUA是一项开放标准,适用于从机器到机器间(M2M)的水平通信和从机器直到云端的垂直通信。该标准独立于供应商和平台,支持广泛的安全机制,并且可以与PROFINET共享同一工...

WINCC配置OPC UA服务器的步骤和故障解决

WINCC配置OPCUA服务器的步骤和故障解决本次配置实例的环境:在同一局域网内的两台计算机,均为windows7SP1系统一台计算机安装wincc7.4,并建立项目,项目在运行状态一台计算机安...

视频格式在线转换,五种超实用的视频格式转换工具!

视频内容无处不在,从教育课程到娱乐电影,从社交媒体分享到在线会议,视频已成为我们日常生活中不可或缺的一部分。然而,不同的设备和平台支持的视频格式各异,会导致视频文件在某些设备上无法播放。因此,掌握视频...

支持裸眼3D:长虹X1手机/全新CHIQ电视发布

IT之家讯10月16日消息国产传统家电品牌长虹此前也一直有智能手机产品,但关注度并不高。今天下午,长虹举行发布会,发布了两款以裸眼3D技术为卖点的产品,分别为长虹X1手机和全新CHIQ曲面电视。长...

h265和h264有什么区别(h265和h264有什么区别)

目前很多摄像机采用了H.265的编码标准,H.264编码的摄像机逐渐减少,为什么H.265会流行?H.264和H.265有何不同?一、什么是H.265...

中文白皮书:面向视频编解码器和图形引擎的前沿多媒体方案 WP497

该白皮书探讨了ZynqUltraScale+MPSoC的多媒体功能。MPSoC基于Zynq-7000SoC,包括一个可编程逻辑(PL)的桥接处理系统(PS),但它在ZynqUltr...

科达NVR家族换新装:推出首款通用型H.265+4K NVR

近期,科达推出业内首款通用型H.265+4KNVR——NVR1821,吹响NVR家族全面升级的号角。据了解,保持原有通用型产品“高性价比”定位的基础上,全新NVR1821系列增加了4路4K解码+1路...