博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Activemq构建高并发、高可用的大规模消息系统
阅读量:7202 次
发布时间:2019-06-29

本文共 1814 字,大约阅读时间需要 6 分钟。

hot3.png

 在实时消息系统中,MQ消息中间件广泛应用于各类消息系统中,在异步消息处理架构中,MQ几乎是必备的中间件。 同时,MQ的处理性能也将直接影响整个系统的性能。如果MQ出现故障,那么整个系统将瘫痪,其后果将是灾难性的。 所以在一般情况下MQ会中HA,或是failover,但是如果要求消息处理能力在10万/秒以上时,简单的HA或failover将不能满足要求。

    一、Activemq broker部署方式

     1) 单MQ broker 时

20160407094223018

 整个系统中只有一个Activemq Broker,在生产系统中几乎不使用。因为单个MQ存在单点故障。

    2) Master - slave 模式

20160407094233268

采用Master-slave模式,同时在链接串中增加failover功能, 能够实现HA, 避免单点故障。但是,Master-slave方式一般需要"共享文件系统",同时必须保证出现问题时,文件锁能正常切换。另外,slave处于stand by状态,不对外提供服务。 在Master高负荷的情况下,Slave不能提供能帮助。如果Master在高负荷情况下挂掉,那么Slave在同样的情况下也可能挂掉,只是时间问题。( Replicate Leveldb 方案也存在上述问题)。 另外,activemq 还有network模式,但此模式的应用场景不是很明确。

    二、多个Activemq broker 同时工作

     通过上面的分析, 简单的采用Activemq官网上提供的方案基本上不能满足生产系统的性能和高可用要求。因此,必须对上述方案进行改进,实现 “高性能”,“高可用”,“可扩展”的MQ集群方案。 

     同时部署多个Activemq broker实例, 多个Activemq broker实例同时工作。单个broker实例,生产和消费消息的速度在1万条/秒,部署N个Broker, 整个消息通道就能拓宽N倍; 多个(4个以上)broker 实例同时工作,其中1到2个mq实例出现问题时,消息可经过其他broker处理,整个系统依然可以健康工作,从而实现高可用。

20160407095121882

a、消息发送方的应用程序的采用轮循方式给多个broker发送消息

b、消息消费方的应用程序针对每个broker启用对应的consumer来消费消息。

     按照这样的部署方案,两个或两个以上MQ可以同时工作,可以解决MQ单点问题。MQ做为消息的传输管道, 增加MQ数量就可以拓宽管道的宽度,提高消息传输性能。

   

     我们将“多个同时工作的broker"成为 broker组,如果 broker组内的broker数量太多的话,那么再开发或部署时,broker内的队列配置将会是一件非常繁琐的事。因此,我们将broker内的队列queue进行分组,具有相同前缀名的队列为一组,前缀名相同的队列中的消息的业务逻辑是相同的。通过队列前缀名将消息组件与业务关联上。 根据业务不同,配置不同的sender  和 listener 时,只要配置不同的队列前缀名。从而简化配置与使用,同时也可以防止消息发错队列的错误。

20160407100035495

如上图,有 ChargeQueue 和 QueryQueue连个队列组,对应不同的业务功能。

20160407100425512

在消息消费的应用程序中,针对ChargeQueue 和 QueryQueue 配置Consumer Listener Container, 同时可以正对不同的队列配置不同数量的消费则数目。

    单个ActiveMQ的接收和消费消息的速度在1万笔/秒(持久化 一般为1-2万, 非持久化 2 万以上),在生产环境中部署10个Activemq就能达到10万笔/秒以上的性能,部署越多的activemq broker 在MQ上latency也就越低,系统吞吐量也就越高。

    三、Activemq 性能优化。

    1、 producer消息发送端,需要采用 AsyncSend模式, 在 activemq 的连接串中增加jsm.useAsyncSend, 例如 tcp://127.0.0.1:61616?jms.useAsyncSend=true 

    2、consumer消息消费端,如果有多个不同的应用程序去消费同一个队列中的消息,那么 activemq的 prefetchSize应该设置为1。

   以上两个参数对性能的影响非常大。 

转载于:https://my.oschina.net/u/3959491/blog/1982784

你可能感兴趣的文章
xml 帮助类
查看>>
Webpack【1】 入门
查看>>
Hadoop、Spark 集群环境搭建问题汇总
查看>>
数据系列:通过Windows Azure SQL数据库防火墙规则控制数据库访问
查看>>
C++嵌套类
查看>>
推荐算法——非负矩阵分解(NMF)
查看>>
Jquery第四课 Javascript中this的使用方法
查看>>
2017-7-28 MVC 项目一
查看>>
Ajax 登录时MD5加密验证/ jquery ui tools scrollable(滚动)/MSClass(JS类库滚动)
查看>>
vue 页面切换的时候vuex记录之前的滚动条位置
查看>>
NSDateFormatter设定日期格式
查看>>
抽象工厂模式-与-工厂方法模式区别
查看>>
javascript中if和switch,==和===详解
查看>>
python写api接口测试之tonador
查看>>
ibatis初识
查看>>
hdu 1950 Bridging signals
查看>>
poj - 1442 Black Box
查看>>
js replaceChild
查看>>
个人简介
查看>>
Ubuntu卡在Logo界面
查看>>