一.hadoop集群环境配置 参考我的前一篇文章（ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html） 但本人配置时还修改了如下内容(由于你的环境和我的可能不一致，可以在后面出现相关问题后再进....
com.sun tools 1.7 system C:/Program Files/Java/jdk1.7.0_71/lib/tools.jar org.apache.hbase hbase-client 0.98.7-hadoop2 ...
分类：
编程语言 时间：
2015-09-07 20:59:33
阅读次数：
428
1、安装JDK，我安装的是java1.72、创建管理员账户3、安装ssh服务（如果已有跳过此步）4、ssh无密码验证登陆以上过程略，可参考ubuntu下安装hadoop一文。5、下载并解压hadoop2.6.0安装包tar -xzvf hadoop-2.6.0.tar.gz /Users/hadoo...
分类：
系统相关 时间：
2015-09-02 17:23:59
阅读次数：
256
使用spark-1.4.1-bin-hadoop2.6进行处理，测试文件大小为3G，测试结果：1:统计一个文件中某个字符的个数scala> sc.textFile("/home/y/my_temp/1.txt").filter(line=>line.contains("ok")).count()sc...
分类：
其他好文 时间：
2015-09-02 09:22:08
阅读次数：
123
1 基本配置主机名:192.168.145.154 hadoop2=======2etc/hadoop下文件配置1）core-site.xml fs.defaultFS hdfs://hadoop2:8020 io.file.buff...
分类：
其他好文 时间：
2015-08-31 23:23:07
阅读次数：
168
转自http://www.linuxidc.com/Linux/2015-01/112370.htm一、在Ubuntu下创建Hadoop组和hadoop用户增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。1、创建hadoop用户组2、创建ha...
分类：
系统相关 时间：
2015-08-30 09:52:12
阅读次数：
283
联盟实际上是一个单独的集群,集群里面包含很多的NameService共享同样的DataNode,同一份数据只上传一份,block块相同,一个集群中删除,另一个集群中还是存在的.同一份数据只是在namespace中注册了一下.联盟是共享同一个datanode,相同的数据还是一份viewfs跨隶属于同一...
分类：
其他好文 时间：
2015-08-29 16:44:11
阅读次数：
107
本文使用前提：从noha到ha
机器分配：
nn1
namenode，DFSZKFailoverController
nn2
namenode，DFSZKFailoverController
slave1
datanode，zookeeper，journalnode
slave2
datanode，zookeeper，journalnode...
分类：
其他好文 时间：
2015-08-29 14:04:33
阅读次数：
230
之前有幸在MOOC学院抽中小象学院hadoop体验课。这是小象学院hadoop2.X的笔记由于平时对数据挖掘做的比较多，所以优先看Mahout方向视频。Mahout有很好的扩展性与容错性（基于HDFS&MapReduce开发），实现了大部分常用的数据挖掘算法（聚类、分类、推荐算法）不过数据挖掘调参和...
分类：
其他好文 时间：
2015-08-29 00:45:12
阅读次数：
211
之前有幸在MOOC学院抽中小象学院hadoop体验课。这是小象学院hadoop2.X概述第八章的笔记主要介绍HBase，一个分布式数据库的应用案例。案例概况：1）时间序列数据库(OpenTSDB)用HBase储存时间序列数据，每时每刻都在解决，数据库为开源2）HBase爬虫调度库垂直搜索爬虫大规模爬...
分类：
其他好文 时间：
2015-08-28 22:51:40
阅读次数：
203
