在前面一篇文章中介绍了如果在完全分布式的环境下搭建Hadoop0.20.2，现在就再利用这个环境完成开发。 首先用hadoop这个用户登录linux系统(hadoop用户在前面一篇文章中创建的)，然后下载eclipse的tar.gz包到/home/hadoop/这个目录下，直接解压缩，于是...
分类：
系统相关 时间：
2015-11-03 17:45:36
阅读次数：
205
爱的技术可以应用到实际生活生产，做艺术向往的东西不腻和音乐。 现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目如今正在线上执行，项目名——基于Hadoop的数据分析综合管理平台。 watermark/2/text/aHR0cDovL...
分类：
其他好文 时间：
2015-10-27 17:29:38
阅读次数：
400
在分布式系统中，往往需要一些分布式同步原语来做一些协同工作，上一篇文章介绍了Zookeeper的基本原理，本文介绍下基于Zookeeper的Lock和Queue的实现，主要代码都来自Zookeeper的官方recipe。锁（Lock）完全分布式锁是全局同步的，这意味着在任何时刻没有两个客户端会同时认...
分类：
其他好文 时间：
2015-10-18 18:18:57
阅读次数：
290
环境介绍：在这两种装备centos6.4（32位置）的server安装Hadoop-2.5.1分布式集群（2台机器，主要试验用。哈哈）。1．改动主机名和/etc/hosts文件1）改动主机名（非必要）vi /etc/sysconfig/networkHOSTNAME=XXX重新启动后生效。2）/et...
分类：
其他好文 时间：
2015-10-07 18:54:57
阅读次数：
281
一、环境要求：1、 虚拟机安装并设置网络；2、 修改主机地址映射；3、 必备软件：Jdk、Development Tools Development Libraries gcc c++等已安装；4、 修改windows主机C:\Windows\System32\drivers\etc\hosts在h...
分类：
其他好文 时间：
2015-09-21 10:37:34
阅读次数：
201
Git是一种分布式版本控制系统。Git诞生于2005年，最初由Linus Torvalds编写，用作Linux内核代码的管理。Git是完全分布式的，设计简单，对非线性开发模式拥有强力支持，有能力高效管理类似Linux内核一样的超大规模...
分类：
其他好文 时间：
2015-09-20 14:52:50
阅读次数：
180
Apache Cassandra是一个开源分布式NoSQL数据库系统。最初由Facebook创建，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身。...
分类：
其他好文 时间：
2015-08-29 21:41:31
阅读次数：
225
1 前言首先要陪只好HBase，可以参见http://www.cnblogs.com/liuchangchun/p/4096891.html，完全分布式类似2 HBase配置2.1 HUE 配置文件设置，找到hbase标签，配置如下# Comma-separated list of HBase Th...
分类：
其他好文 时间：
2015-08-29 21:36:28
阅读次数：
283
Hadoop安全分布式的Eclipse开发环境配置
安装Eclipse：
详细见教程：http://blog.csdn.net/wang_zhenwei/article/details/48032001
安装Hadoop-Eclipse-Plugin：
下载 hadoop2x-eclipse-plugin ，将 release 中的 hadoop-eclipse-kepler-...
分类：
系统相关 时间：
2015-08-28 17:46:29
阅读次数：
275
文件配置：
（注：修改配置文件需要使用root用户，否则修改失败）
vim /etc/sysconfig/network
修改主机名为：HOSTNAME=Master
vim /etc/sysconfig/network-scripts/ifcfg-eth0
查看IP地址、网关、DNS服务器是否正确
vim /etc/sysconfig/network-scripts/ifcgf-et...
分类：
其他好文 时间：
2015-08-27 15:26:23
阅读次数：
230
