Hadoop集群实施成功后,再次格式化名称节点。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927
SecondaryNameNode7773 NameNode8...
分类:
其他好文 时间:
2014-05-06 00:52:59
阅读次数:
491
控制namenode检查点发生的频率。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.11、修改core-site.xml,设置参数。 fs.checkpoint.period
1802、重启集群,查看namenode下文件更新频率,每隔180秒更新一次。[huser@...
分类:
其他好文 时间:
2014-05-06 00:26:48
阅读次数:
429
一、HAProxy简介:HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上,完全可以支持数以万计的并发连接...
分类:
其他好文 时间:
2014-05-05 22:28:31
阅读次数:
660
声明:1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。
2)本小实验工作环境为Ubuntu操作系统,hadoop1-2-1,jdk1.8.0。
3)统计词频工作在单节点的伪分布上,至于真正实际集群的配置操作还没有达到,希望能够由本文抛砖引玉。(一)Hadoop的配置修正 网上有很多...
分类:
其他好文 时间:
2014-05-05 21:54:47
阅读次数:
456
能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-...
分类:
其他好文 时间:
2014-05-04 00:22:05
阅读次数:
476
一、简介HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上,完全可以支持数以万计的并发连接。并..
分类:
其他好文 时间:
2014-05-03 15:01:41
阅读次数:
430
------本文大纲简介keepalived原理keepalived配置文件注解---------------------------------一、简介Keepalived:它的诞生最初是为ipvs(一些服务,内核中的一些规则)提供高可用性的,最初最主要目的是能够自主调用ipvsadm来生成规则,并且能够自动实现将用户访问的地址转移到..
分类:
其他好文 时间:
2014-05-03 14:54:06
阅读次数:
378
一、简介HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并..
分类:
其他好文 时间:
2014-05-03 14:50:13
阅读次数:
836
keepalived实现haproxy高可用模型keepalived节点1----------------------------------------------------------------vrrp_scriptchk_haproxy{script"killall-0haproxy"interval1weight-2}vrrp_instanceVI_1{stateMASTERinterfaceeth1virtual_router_id51priority100advert_int..
分类:
其他好文 时间:
2014-05-03 14:46:15
阅读次数:
639
大致规划:主机IP描述VIP192.168.0.222对外提供高可用IPhaproxy+keepalived(node1)192.168.0.111haproxy为后端两台WEB服务的做动静分离;keepalived为haproxy做高可用。haproxy+keepalived(node2)192.168.0.112WEB(node3)192.168.0.113提供静态请求响应Apache+PHP+MySQL(node4)..
分类:
Web程序 时间:
2014-05-03 14:37:46
阅读次数:
610