环境： CentOS7 hadoop2.6.4已安装两个节点：master、slave1 过程： 把下载的scala、spark压缩包拷贝到/usr/hadoop-2.6.4/thirdparty目录下。 安装scala： 修改环境变量文件 /etc/profile，添加以下内容： source 使 ...
分类：
其他好文 时间：
2016-10-14 06:50:41
阅读次数：
220
环境： CentOS7 hadoop2.6.4两个节点：master、slave1 HBase1.1.6 过程： hadoop安装目录：/usr/hadoop-2.6.4 master节点，hadoop用户登录。在hadoop目录下新建thirdparty目录： 目录结构： 把hbase1.1.6解 ...
分类：
其他好文 时间：
2016-10-13 02:33:47
阅读次数：
138
spark streaming 开发实例 本文将分以下几部分 spark 开发环境配置 创建spark项目 编写streaming代码示例 调试 环境配置： spark 原生语言是scala， 我用的是spark-1.4.1-bin-hadoop2.6，可以查阅官方说明，用的是scala-2.10. ...
分类：
其他好文 时间：
2016-10-12 20:01:21
阅读次数：
376
1.下载spark:spark-2.0.0-bin-hadoop2.7.tgz 2.解压至D:\bigdata\spark-2.0.0-bin-hadoop2.7 3.配置环境变量 HADOOP_HOME:D:\bigdata\hadoop-2.7.2 SPARK_HOME:D:\bigdata\s ...
一、 HDFS介绍： 1. Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS、MapReduce和YARN，为海量的数据提供了存储和计算。 HDFS主要是Hadoop的存储，用于海量数据的存储； MapReduce主要 ...
分类：
其他好文 时间：
2016-10-10 07:37:46
阅读次数：
5613
之前在北风网培训过大数据，培训质量还是非常不错的，现在分享出来一部分给大家看下，有需要更多的可以联系QQ：375537364 链接：http://pan.baidu.com/s/1bPl5aY 密码：ymmi Java Linux基础 Shell编程 Hadoop2.x HDFS YARN MapR ...
分类：
其他好文 时间：
2016-10-09 20:11:10
阅读次数：
143
报如下错误 解决方法: 方法一:(结果不起作用) 通过Shell命令方式，hadoop/bin/hdfs haadmin -failover --forceactive hadoop2 hadoop1(注意,这种方式本来是在手动故障恢复中进行强制切换NameNode的做法) 返回结果,不支持,并且诚 ...
分类：
数据库 时间：
2016-10-09 06:52:15
阅读次数：
882
文章介绍了Hadoop2和Hadoop1的区别，对HDFS的构成和功能进行了描述 ...
分类：
其他好文 时间：
2016-10-05 13:17:16
阅读次数：
205
背景： 在阅读hadoop源代码过程中会发现部分类或者函数无法找到，这是由于Hadoop2.0使用了Protocol Buffers定义了RPC协议， 而这些Protocol Buffers文件在Maven编译源代码才会生成对应的java类，因此若其他类在源代码中引用这些类则暂时无法找到。 解决办法 ...
分类：
其他好文 时间：
2016-10-02 00:21:33
阅读次数：
161
Hadoop: 大数据里面的公认的解决方案标准 第一天 Hadoop的基本概念 伪分布式集群安装 hdfs mapreduce 演示 第二天 hdfs原理和使用操作 第三天 mapreduce 的原理和编程 第四天 常见mr算法实现和shuffle的机制 第五天 Hadoop2.x种HA机制的原理和 ...
分类：
其他好文 时间：
2016-10-02 00:10:28
阅读次数：
220
