MapReduce 集群调优


MTU指跨界点传输时，一次性发送的数据的大小，把它调大，能起到优化效果，但是调大后丢包率会增加，有风险。
MTU太大，丢包率高，太小，慢。要找个折中点。

集群调优核心思路

在网络带宽、磁盘IO是瓶颈的前提下 能不使用io 和网络，就不使用。在必须使用的情况下，能少用IO 网络就少用，
所有的能够减少网络开销的、减少IO使用的可选项，都可以作为集群调优的可选项。（软件层面（操作系统----集群 层面），硬件层面，网络层面）

如何能够让Map执行效率最高

尽量减少环形缓冲区flush的次数（减少IO 的使用）
1、调大环形缓冲区的大小，将100M调更大。
2、调大环形缓冲区阈值大的大小。
3、对Map输出的数据进行压缩。（数据在压缩和解压的过程中会消耗CPU）

如何能够让Reduce执行效率最高

1、尽量将所有的数据写入内存，在内存中进行计算