百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

阿里云核心组件rocketmq,消息队列集群搭建,轻松搞定

csdh11 2025-02-27 14:48 3 浏览

消息队列作为高并发系统的核心组件之一,能够帮助业务系统解构提升开发效率和系统稳定性。



(一)rocketMQ

官网:
http://rocketmq.apache.org/

开源的分布式消息和流处理,流处理这块原来只有kafka这样说,因为rocketMq本身做的也比较好,它也加上了kafka这句话,意思我也很强。



Github:https://github.com/apache/rocketmq/

目前最新的版本是4.5.0



Github:https://github.com/alibaba

这里已经找不到rocketMq了,因为已经捐献给apache了,之前的很多资料官方都不提供了,唯一有的就是上边rocketMq的官网。



  • 开发的动机

在早期阶段,我们构建了基于ActiveMQ5.x(早于5.3)的分布式消息中间件。我们的跨国企业使用它进行异步通信、搜索、社交网络活动流、数据管道,甚至在其程中。随着我们的业务吞吐量增加,来自我们的消息传递集群的压力也变得紧迫。

  • 为什么开发RocketMQ

基于我们的研究,随着队列的增加和虚拟主题的使用,ActiveMQ IO模块遇到了瓶颈。我们尽力通过节流、路由或降级来解决这个问题,但效果并不好。所以我们开始关注流行的消息传递解决方案Kafka。不幸的是,Kafka不能满足我们的要求,特别是在低延迟和高可靠性方面。在这种情况下,我们决定发明一个新的消息传递引擎来处理更广泛的用例集,从传统的pub/sub场景到大容量的实时零损失容忍事务系统。我们相信这个解决方案是有益的,所以我们希望向社区开放源代码。



  • 下载rocketmq源码







(二)rocketmq环境搭建

(一)安装虚拟机

源码:
https://github.com/limingios/netFuture/tree/master/jms,可以查看,之前的文章,vagrant的介绍docker【中级】。



  • 环境

192.168.89.100

192.168.89.101

每台服务器1主1从,2M-2S-SYNC(两主两从同步写)

相关安装包存储路径:/root/soft/



  • 下载

89.100主机

Apache: http://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip

wget http://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip
yum -y install unzip
unzip rocketmq-all-4.2.0-bin-release.zip -d /root/rocketmq





安装JDK 新的版本要求JDK1.8以上的

192.168.89.100 和192.168.89.101都要安装

源码:jms目录下的pro.sh

#通过vi 直接复制进去也可以
#但是一定要记住增加权限
chmod 777 pro.sh
./pro.sh



 
# @Author: liming
# @Date: 2018-11-26 23:14:59
# @Last Modified by: liming
# @Last Modified time: 23:15:05
# @urlblog idig8.com
# 个人公众号 编程坑太多
#!/bin/bash
SOFT_PATH=/opt/soft
if [ ! -d $SOFT_PATH ];then
mkdir $SOFT_PATH
else
echo "文件夹已经存在"
fi
yum install -y wget 
#install jdk1.8
cd $SOFT_PATH
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"
tar -zxvf jdk* -C $SOFT_PATH
cd jdk*
JAVA_HOME=`pwd` 
#install maven3.2.3
cd $SOFT_PATH
wget https://archive.apache.org/dist/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz
tar -zxvf apache-maven-3.2.3-bin.tar.gz -C $SOFT_PATH
mv apache-maven-3.2.3 maven-3.2.3
cd maven*
MAVEN_HOME=`pwd`
#install git 2.8.0
cd $SOFT_PATH
yum -y install zlib-devel openssl-devel cpio expat-devel gettext-devel curl-devel perl-ExtUtils-CBuilder perl-ExtUtils- MakeMaker
wget https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.8.0.tar.gz
tar -zxvf git-2.8.0.tar.gz -C $SOFT_PATH
cd git*
./configure
make install
ln -s /usr/local/bin/git /usr/bin/git
#追加环境变量
echo "export JAVA_HOME=${JAVA_HOME}" >> /etc/profile
echo "export PATH=$""JAVA_HOME/bin:$""PATH" >> /etc/profile
echo "export MAVEN_HOME=${MAVEN_HOME}" >> /etc/profile
echo "export PATH=$""MAVEN_HOME/bin:$""PATH" >> /etc/profile
source /etc/profile
#输出信息
echo "-----source update-----"
echo "java version"
java -version
echo "maven version"
mvn -v
echo "-----path-----"
echo "JAVA_HOME:"$JAVA_HOME
echo "MAVEN_HOME:"$MAVEN_HOME
source /etc/profile

再次更新环境变量

192.168.89.100 和192.168.89.101都要

source /etc/profile

配置host

192.168.89.100 和192.168.89.101都要

vi /etc/hosts
192.168.89.100 rocketmq1
192.168.89.101 rocketmq2





配置环境变量

192.168.89.100 和192.168.89.101都要

echo "export ROCKETMQ_HOME=/root/rocketmq" >> /etc/profile
echo "export PATH=$PATH::$ROCKETMQ_HOME/bin" >> /etc/profile
source /etc/profile



192.168.89.100 进行配置

cd /root/rocketmq/conf/2m-2s-sync
ll



192.168.89.100配置

源码:包中jms 里面配置好了2m-2s-sync

直接覆盖就可以了。具体配置下面会说。按照文件名

yum -y install lrzsz
rz -y



192.168.89.100创建存储&日志文件

mkdir /root/rocketmq/data
mkdir /root/rocketmq/data/store
mkdir /root/rocketmq/data/store/commitlog
mkdir /root/rocketmq/data/store/consumequeue
mkdir /root/rocketmq/data/store/index
mkdir /root/rocketmq/data/store-slave
mkdir /root/rocketmq/data/store-slave/index
mkdir /root/rocketmq/data/store-slave/commitlog
mkdir /root/rocketmq/data/store-slave/consumequeue
mkdir -p /root/rocketmq/logs
cd /root/rocketmq/conf && sed -i 's#${user.home}#/root/rocketmq#g' *.xml




192.168.89.100改参数

runbroker.sh,runserver.sh启动参数默认对jvm的堆内存设置比较大(不改启动不起来),如果是虚拟机非线上环境需要改下参数

cd /root/rocketmq/bin
vi runbroker.sh
vi runserver.sh
#默认大小
-Xms8g -Xmx8g -Xmn4g
改为:
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"
cd /root/rocketmq/bin
vi runserver.sh




vi runbroker.sh



192.168.89.100复制到192.168.89.101

cd /root/
scp -r rocketmq/ root@192.168.89.101:/root/



192.168.89.100和192.168.89.101

增加权限

cd /root/rocketmq/bin
chmod 777 * 

192.168.89.100启动Nameserver服务 和 BrokerServer服务

cd /root/rocketmq/bin
sh mqnamesrv &
sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-a.properties &
sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-b-s.properties &





192.168.89.101启动Nameserver服务 和 BrokerServer服务

cd /root/rocketmq/bin
sh mqnamesrv &
sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-b.properties &
sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-a-s.properties &




测试查看集群

 sh mqadmin clusterlist -n 192.168.89.100:9876



测试发送

export NAMESRV_ADDR='rocketmq1:9876;rocketmq2:9876'
#测试发送端
sh /root/rocketmq/bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
#测试消费端
sh /root/rocketmq/bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer




服务停止

cd /root/rocketmq/bin
sh mqshutdown broker
sh mqshutdown namesrv
#或者直接jps,然后kill -9 进程ID

PS:终于安装成功了,2主2从。特别注意的是在broker的properties文件我都在源码上传的。但是里面有个属性一定要注意:默认不配置brokerIP1和brokerIP2时,都会根据当前网卡选择一个IP使用,当你的机器有多块网卡时,很有可能会有问题。brokerIP1一定要填写IP不要填写别名。否则java连接就会出现
RemotingTooMuchRequestException: sendDefaultImpl call timeout;

坚持原创的35岁IT老兵!感谢您能够看完这篇文章!感谢关注,评论,转发!

相关推荐

当iPhone X遇上 Mate 10 Pro 怎么挑?

产品:Mate10Pro(全网通)华为手机1iPhoneX一出就遇上了对手Hello!大家好我是石头这里是zol。首先来看看我手里的这个,不是装x的意思,今天好多人欢天喜地的拿到了属于自己或者属...

谁是办公高手? 六款商务平板全推荐

1超低功耗联想Thinkpad10领衔ThinkPad的名字在笔记本上依然是高曝光率,从IBM到联想,它一直以来是商务、办公领域的不二人选,然而在平板电脑大行其道的今天,ThinkPad当然也不单...

如何仅用几行代码将微信4.0公测版转换成玲珑格式?

微信4.0(玲珑版)已上架如意玲珑应用商店!!!...

音乐研发必备:理解 MIDI 协议与标准 MIDI 文件格式

1.MIDI简介...

HEIF格式可以节约50%的空间!质量会有影响吗?

关于手机1亿像素到底有没有必要,争议肯定是存在的,但无法回避的一点是随着像素的成倍增加,一张照片十几MB成了常事,这必将给本就不太宽裕的存储容量造成压力,这种压力又会转嫁到用户身上,让他们不得不花更多...

「干货分享」30个前端知识技能提升的资源网站

今天给小伙伴们分享30个前端相关学习资源网站及一些在线小工具,希望能帮助到大家。CSS相关1、css精灵牛|在线图片CSS生成工具。...

用Facebook引流Shopify独立站,如何优化Facebook商户页面?

什么是FacebookBusinessPage?FacebookBusinessPage是官方的称号,其实你可以简单理解为facebookbusinesspage就是微信公众账户,而我们...

玩转手机摄影 nubia Z9 mini新品首测

1Z9系列新品nubiaZ9mini发布会开始之前的邀请函总能透露出很多内容,或者说我们总会特意解读出很多内容。nubia此前发出的3月26日智能手机新品发布会的邀请函很显然再一次着重强调了其产品...

影院看片怕座位不好?那买个盒子在家看

着消费者对高清播放器的需求的不断增加,高清播放器的功能也在不断得到提升。以前看电影的时候相信很多人更喜欢去电影院里观看,但是有时候去电影院的人太多买不到好位子也会让不少人感到扫兴。现在随着技术的革新,...

今天你买了么?不入后悔的8款平板推荐

随着高考大战的落幕,对于广大学生朋友们来说正真的暑假终于来了!这个假期想要外出旅行或是居家畅玩,没有一款便携式全能娱乐利器的平板电脑怎么能叫放假呢?正直京东618购物季即将到来的日子,相信你也不会错过...

Cursor使用指南:释放AI编程的无限潜能

Cursor简介...

谁说轻薄本缺乏生产力?没体验过别乱说

笔记本电脑轻薄化一直是各大厂商们不断努力的方向,不过早前的轻薄笔记本电脑会受制于技术方面的限制,无法将高能耗的CPU以及显卡塞入轻薄的机身内。为了能给这些芯片散热、供电,制造商们不得不对这些芯片的功耗...

通告ImageMagick再爆核心漏洞 站长小心

目前所有版本的GraphicsMagick和ImageMagick都支持打开文件,当文件名的第一个字符为“|”,则文件名会被传递给shell程序执行,导致(可能远程)代码执行。文件打开操作位于源代码文...

《玻璃之花与坏掉的世界》再曝新宣传片

雨文冰璃发表于昨天22:56【新闻】《玻璃之花与坏掉的世界》再曝新宣传片http://comic.qq.com/a/20151122/016784.htmPONYCANYON和A-1Pictu...

7 招教你轻松搭建以图搜图系统

作者|小龙责编|胡巍巍当您听到“以图搜图”时,是否首先想到了百度、Google等搜索引擎的以图搜图功能呢?事实上,您完全可以搭建一个属于自己的以图搜图系统:自己建立图片库;自己选择一张图片到...