Hadoop MapReduce（jstorm系统）

JStorm简介

JStorm 是一个类似Hadoop MapReduce的系统， 用户按照指定的接口实现一个任务，然后将这个任务递交给JStorm系统，Jstorm将这个任务跑起来，并且按7 * 24小时运行起来，一旦中间一个worker 发生意外故障， 调度器立即分配一个新的worker替换这个失效的worker。

从应用的角度，JStorm 应用是一种遵守某种编程规范的分布式应用。从系统角度， JStorm一套类似MapReduce的调度系统。 从数据的角度， 是一套基于流水线的消息处理机制。实时计算现在是大数据领域中最火爆的一个方向，因为人们对数据的要求越来越高，实时性要求也越来越快，传统的 Hadoop Map Reduce，逐渐满足不了需求，因此在这个领域需求不断。

JStorm的其他优化点

1、资源隔离。不同部门，使用不同的组名，每个组有自己的Quato；不同组的资源隔离；采用cgroups 硬隔离

2、Classloader。解决应用的类和Jstorm的类发生冲突，应用的类在自己的类空间中

3、Task 内部异步化。Worker 内部全流水线模式，Spout nextTuple和ack/fail运行在不同线程

JStorm性能优化：

1、选型：按照性能来说， trident < transaction < 使用ack机制普通接口 < 关掉ack机制的普通接口， 因此，首先要权衡一下应该选用什么方式来完成任务。如果“使用ack机制普通接口”时， 可以尝试关掉ack机制，查看性能如何，如果性能有大幅提升，则预示着瓶颈不在spout， 有可能是Acker的并发少了，或者业务处理逻辑慢了。

2、增加并发：可以简单增加并发，查看是否能够增加处理能力

3、让task分配更加均匀：当使用fieldGrouping方式时，有可能造成有的task任务重，有的task任务轻，因此让整个数据流变慢， 尽量让task之间压力均匀。

4、使用MetaQ或Kafka时：对于MetaQ和Kafka， 一个分区只能一个线程消费，因此有可能简单的增加并发无法解决问题， 可以尝试增加MetaQ和Kafka的分区数。

提示：请在购买和使用过程中，注意购买的镜像使用时间，很多用户因购买镜像没注意选择时间造成到期影响业务及转成按量付费问题。请一定注意以免造成业务影响，由于购买时因时间选择导致镜像到期的问题，我司概不负责。