Mahout小案例学习,实现k-means算法。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.1 & Mahout 0.91、下载测试数据[huser@master hadoop]$ wget
http://archive.ics.uci.edu/ml/databas...
分类:
其他好文 时间:
2014-05-04 12:34:58
阅读次数:
340
3.1MySQL 存储引擎概述 到后来,MySQL
意识到需要更改架构,将前端的业务逻辑和后端数据存储以清晰的层次结构拆分开的同时,对ISAM 做了功能上面的扩展和代码的重构,这就是MyISAM存储引擎的由来。
MySQL 的插件式存储引擎主要包括MyISAM,Innodb,NDB Cluste.....
分类:
数据库 时间:
2014-05-04 12:32:42
阅读次数:
662
2.1 为什么用AWK
由于awk具有上述特色,在问题处理的过程中,可轻易使用awk来撰写一些小工具;这些小工具并非用来解决整个大问题,它们只扮演解决个别问题过程的某些角色,可通过Shell所提供的pipe将数据按需要传送给不同的小工具进行处理,以解决整个大问题。这种解题方式,使得这些小工具可因不....
分类:
其他好文 时间:
2014-05-04 11:58:55
阅读次数:
286
利用JavaAPI访问HDFS的文件
1、重读配置文件core-site.xml要利用Java客户端来存取HDFS上的文件,不得不说的是配置文件hadoop-0.20.2/conf/core-site.xml了,最初我就是在这里吃了大亏,所以我死活连不上HDFS,文件无法创建、读取。hadoop.t...
分类:
编程语言 时间:
2014-05-03 22:10:40
阅读次数:
300
前两天将Hadoop2的完全分布式搭建文档整理发布于网上(http://blog.csdn.net/aaronhadoop/article/details/24859369),朋友相邀,就再将Hadoop2的伪分布式文档整理一下,搭建过Hadoop2完全分布式后,就笑对“伪分布式”说声
呵呵吧。
前期的jdk环境、SSH免密钥登录配置在此就不再赘述了,直接进入hadoop2的配...
分类:
其他好文 时间:
2014-05-03 21:51:45
阅读次数:
344
ZooKeeper做独立服务器运行(下)作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs四、ZooKeeper Java客户端连接后的命令概述键入help,可以看到有如下命令: connecthost:port
getpath [watch]
lspath [watch]
setpat...
分类:
其他好文 时间:
2014-05-03 21:45:58
阅读次数:
274
dataNode 无法启动是配置过程中最常见的问题,主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。建议查看datanode上面的log信息。解决办法:修改每一个datanode上面的CID(位于dfs/data/current/VERSION文件夹中)使两者一致。...
分类:
其他好文 时间:
2014-05-03 21:37:44
阅读次数:
308
概述:
过滤器是Servlet2.3以上新增加的一个功能,其技术也是非常强大的。通过Filter技术可以对WEB服务器的文件进行拦截,从而实现一些特殊的功能。在JSP开发应用中也是必备的技能之一。Filter可以改变一个request(请求)和修改一个response(响应)。Filter不是一个Servlet,它不能产生一个response,它能够在一个requsst到达Servlet之前预处...
分类:
其他好文 时间:
2014-05-03 21:30:26
阅读次数:
291
挖个坑,埋点土,数个一二三四五。今天我们从它说起建造模式。
概述
其核心思想是将一个“复杂对象的构建算法”与它的“部件及组装方式”分离,使得构件算法和组装方式可以独立应对变化;复用同样的构建算法可以创建不同的表示,不同的构建过程可以复用相同的部件组装方式。因此,如果我们用了建造者模式,那么用户就只需指定需要建造的类型就可以得到他们,而具体的建造过程的细节就不需知道了。
优点
使得建造代码与表示代码分离,由于建造者隐藏...
分类:
其他好文 时间:
2014-05-03 21:12:03
阅读次数:
274
一、概述:
Yarn调度器有许多实现,如Fifo, Capacity和Fair schedulers等。与其同时,正在进行一些优化措施来提高调度器在不同负载和工作场景下的性能。每个调度器都有自己的特性,调度决策受许多因素影响,如公平行、计算能力保证和资源的可靠性等。在部署一个调度算法到生产集群之前,评估一个调度算法是非常重要的,不幸的是,评估一个调度算法是不那么容易的,评估一个真正的集群是非常耗...
分类:
其他好文 时间:
2014-05-03 21:00:00
阅读次数:
443