HadoopLocal(Standalone)Mode（单机版）的安装纯粹只是为练手，练完了单机版，下面该练练Pseudo-DistributedMode（伪分布式版）的安装了。伪分布式是在一台物理机上模拟实现了hadoop的全部功能。包括ssh访问、hdfs格式化、mapReduce执行、yarn资源管理等，伪分布式安装是单机版..
分类：
其他好文 时间：
2016-07-01 23:04:55
阅读次数：
331
一、安装mysql 1安装服务器 2安装mysql客户端 3检查是否有mysql服务开启如果出现第二行则成功开启 4开启mysql服务命令 5root登录新建新用户 root初始密码为空，输入命令后直接回车即可。 6在database中user表里增加用户，用户名hive，用户密码hive 7更新u ...
分类：
其他好文 时间：
2016-07-01 20:09:38
阅读次数：
175
随笔 - 70 文章 - 0 评论 - 88 随笔 - 70 文章 - 0 评论 - 88 随笔 - 70 文章 - 0 评论 - 88 Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo 近期为了分析国内航空旅游业常见安全漏洞，想到了用大数据来 ...
Hadoop2.7.1集群环境的搭建 s204、s205是我的两台服务器hostname，可以用你对应的ip或者hostname代替 Hadoop2.7.1集群环境的搭建 s204、s205是我的两台服务器hostname，可以用你对应的ip或者hostname代替 Hadoop2.7.1集群环境的 ...
分类：
其他好文 时间：
2016-07-01 01:07:52
阅读次数：
183
Hadoop版本Hadoop2.6 RPC主要分为3个部分：（1）交互协议（2）客户端（3）服务端 （2）客户端 先展示RPC客户端实例代码 （1）进入上述的RPC.getProxy方法，会发现是通过获取RpcEngine接口（默认实现是WritableRpcEngine），利用WritableRp ...
分类：
其他好文 时间：
2016-07-01 00:57:54
阅读次数：
284
spark版本：spark-1.6.0-bin-hadoop2.6hive版本：hive 1.2.11.hive-site.xml<property> <name>hive.metastore.uris</name> <value>thrift://master:9083</value></prop ...
分类：
其他好文 时间：
2016-06-29 12:57:36
阅读次数：
249
摘自：http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式 ...
分类：
系统相关 时间：
2016-06-28 12:29:06
阅读次数：
297
一、实用网站 1. linux内核版本 www.kernel.org 2. 查看网站服务器使用的系统 www.netcraft.com 二、推荐书籍 1. 《Hadoop权威指南》 1-3版： Hadoop1系列 4版（目前仅有英文原版）：Hadoop2系列 yarn高可用性，HA 2. 《Hive ...
分类：
其他好文 时间：
2016-06-25 10:53:41
阅读次数：
127
1/增加hadoop 的用户;sudo useradd -m hadoop -s /bin/bash创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。设置密码：sudo passwd hadoop2/可为 hadoop 用户增加管理员权限 sudo adduser ... ...
分类：
其他好文 时间：
2016-06-25 08:28:30
阅读次数：
196
1.关于磁盘使用策略，介绍参考http://www.it165.net/admin/html/201410/3860.html 在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式： 第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeCh ...
分类：
其他好文 时间：
2016-06-24 10:43:38
阅读次数：
629
