声明：1）本文由我bitpeach原创撰写，转载时请注明出处，侵权必究。
2）本小实验工作环境为Ubuntu操作系统，hadoop1-2-1，jdk1.8.0。
3）统计词频工作在单节点的伪分布上，至于真正实际集群的配置操作还没有达到，希望能够由本文抛砖引玉。（一）Hadoop的配置修正 网上有很多...
分类：
其他好文 时间：
2014-05-05 21:54:47
阅读次数：
456
在Hadoop集群环境下安装Mahout。环境：OS：Centos 6.5 x64 &
Soft：Hadoop 1.2.1 & Mahout
0.91、简介mahout项目主页：https://mahout.apache.org/下载二进制包，上传到服务器。2、安装用集群环境用户安装，解压二进制包。...
分类：
其他好文 时间：
2014-05-05 21:35:23
阅读次数：
429
讨论了glusterfs对文件系统爬虫rsync／ls目录性能的现有优化措施和可能的进一步优化方案。优化思路是减少本地文件系统的元数据操作，减少fuse client的负载，减少req的网络轮询次数，减少一次网络通信时间，缓存预抓取，并发，异步，bulk 传输。...
分类：
其他好文 时间：
2014-05-05 13:24:35
阅读次数：
536
用 'top -i' 看看有多少进程处于 Running 状态，可能系统存在内存或 I/O 瓶颈，用 free 看看系统内存使用情况，swap 是否被占用很多，用 iostat 看看 I/O 负载情况...
还有一种办法是 ps -ef | sort -k7 ，将进程按运行时间排序，看哪个进程消耗的cpu时间最多。
top:
主要参数
d：指定更新的间隔，以秒计算。
q：没有任何延迟...
分类：
系统相关 时间：
2014-05-05 13:09:00
阅读次数：
526
能够将热爱的技术应用于实际生活生产中，是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目现在正在线上运行，项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰，爬取数据（txt文本）-->数据清洗-->文本模型训练-->文本分类-...
分类：
其他好文 时间：
2014-05-04 00:22:05
阅读次数：
476
一、简述MySQL Proxy是一个处于你的client端和MySQL
server端之间的简单程序，它可以监测、分析或改变它们的通信。它使用灵活，没有限制，常见的用途包括：负载平衡，故障、查询分析，查询过滤和修改等等。MySQL
Proxy就是这么一个中间层代理，简单的说，MySQL Proxy就...
分类：
数据库 时间：
2014-05-03 23:08:17
阅读次数：
486
简介LNMMP=Linux+Nginx+MySQL+Memcache+PHP；利用Nginx的高性能特点做前端反向代理服务器，分发用户请求，并在能够利用缓存的地方使用Memcache缓存服务，以加速缓存效率，具体架构图如下；具体部署代理层：Nginx编译安装Nginxyum
install gcc ...
分类：
其他好文 时间：
2014-05-03 22:48:02
阅读次数：
688
一、简介HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的并发连接。并..
分类：
其他好文 时间：
2014-05-03 15:01:41
阅读次数：
430
一、简介HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并..
分类：
其他好文 时间：
2014-05-03 14:50:13
阅读次数：
836
大致规划：主机IP描述VIP192.168.0.222对外提供高可用IPhaproxy+keepalived(node1)192.168.0.111haproxy为后端两台WEB服务的做动静分离；keepalived为haproxy做高可用。haproxy+keepalived(node2)192.168.0.112WEB(node3)192.168.0.113提供静态请求响应Apache+PHP+MySQL(node4)..
分类：
Web程序 时间：
2014-05-03 14:37:46
阅读次数：
610
