《hadoop技术详解》书评

hadoop集群管理、部署、调优方面进行了介绍

适合初学者，在运维的角度讲解了集群的规划和部署，说句真心话讲得比较浅，不过对于没有运维经验的人还是有一定思路的开阔（主要是看第四章就可以了，这章是本书的特色）。本书看完的收获是：如何规划一个Hadoop集群：1.通过数据增长量和作业完成时间来规划集群规模2.硬件选型NOTE： SAN,NAS这种集中存储不适合hadoop.3.网络拓扑的规划4.操作系统目录权限的管理防止，更加安全的控制后台进程内存参数的调优：noatime,降低swap5.hadoop版本的选型hadoop集群的部署：这方面很多书都讲到了，主要说一下在配置优化方面的东西：1.mapred.local,dir和datanode.local.dir共享磁盘要设置du.reserved防止数据盘被task的临时文件写满，要为mr预留20%-30%的空间2.master后台rpcserver线程的增加3.数据传输带宽的限制4.以及mapreduce相关的调优，其中一点我还真不知道mapre.child.ulimit可以限制进程内存5.机架感知