大數據項目挺嚇人的，尤其是如果包含了設置和管理Hadoop集群。如果你更習慣於SQL，而不是MapReduce，但是發現關係型資料庫不符合分析需求，Google BigQuery值得一看。Google BigQuery提供了大數據分析入門級方法。 BigQuery減少了分析大型數據集面臨的一些實現挑...
分类：
其他好文 时间：
2015-02-02 17:52:28
阅读次数：
220
前言: 前段时间自己学习如何部署伪分布式模式的hadoop环境，之前由于工作比较忙，学习的进度停滞了一段时间，所以今天抽出时间把最近学习的成果和大家分享一下。 本文要介绍的是如何利用VMware搭建自己的hadoop的集群。如果大家想了解伪分布式的大家以及eclipse中的hadoop编程，...
分类：
系统相关 时间：
2015-02-01 13:24:15
阅读次数：
280
问题描述： 在实验的时候，需要往以前的集群中添加一台datanode，在添加之前，由于在调式namenode的时候，格式化了dfs，这就导致了namenode上的namespaceID和以前集群上datanode的namespaceID不一致，结果就会导致在启动hadoop集群的时候，旧的的data...
分类：
编程语言 时间：
2015-01-28 12:42:34
阅读次数：
216
1、确保Hadoop和Hbase服务已经正常启动了
2、把hbase-site.xml,core-site.xml,hdfs-site.xml配置文件放到Java工程的src目录下
3、引入相关的依赖包
4、Java Client测试访问Hbase集群
package com.hbase.test;
import java.util.ArrayList;
import jav...
分类：
编程语言 时间：
2015-01-28 11:11:09
阅读次数：
509
实现真正的分布式的hadoop，并不是伪分布式的。
一、系统与配置
共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0
192.168.1.10 NameNode master （master）
192.168.1.20 DateNode slave1（Slave）...
分类：
系统相关 时间：
2015-01-28 09:55:38
阅读次数：
290
1. 首先，准备好hadoop安装包和JDK，hadoop-1.0.3的svn版本库：http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.3/， hadoop-1.0.3的安装包地址：http://archive.apache...
分类：
其他好文 时间：
2015-01-27 13:11:44
阅读次数：
228
Ganglia是UC Berkeley发起的一个开源实时监视项目，用于测量数以千计的节点，为云计算系统提供系统静态数据以及重要的性能度量数据。Ganglia系统基本包含以下三大部分。
Gmond：Gmond运行在每台计算机上，它主要监控每台机器上收集和发送度量数据（如处理器速度、内存使用量等）。
Gmetad：Gmetad运行在Cluster的一台主机上，作为Web Server，或者...
分类：
其他好文 时间：
2015-01-27 11:22:37
阅读次数：
523
介绍HDFS和HBase是Hadoop中两种主要的存储文件系统，两者适用的场景不同，HDFS适用于大文件存储，HBASE适用于大量小文件存储。本文主要讲解HDFS文件系统中客户端是如何从Hadoop集群中读取和写入数据的，也可以说是block策略。正文一写入数据当没有配置机架信息时，所有的机器ha..
分类：
其他好文 时间：
2015-01-26 19:31:22
阅读次数：
172
《Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点、十大目标)》
课程讲师：迪伦
课程分类：大数据
适合人群：初级
课时数量: 300课时
用到技术：部署Hadoop集群
涉及项目：京东商城、百度、阿里巴巴
咨询QQ：779591710
下载地址：
链接：http://pan.baidu.com/share/link?shareid=32...
分类：
其他好文 时间：
2015-01-26 12:00:17
阅读次数：
229
《Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点、十大目标)》 课程讲师：迪伦 课程分类：大数据 适合人群：初级 课时数量: 300课时 用到技术：部署Hadoop集群 涉及项目：京东商城、百度、阿里巴巴 咨询QQ：779591710 下载地址： 链接：http://pan.bai...
分类：
其他好文 时间：
2015-01-26 11:31:26
阅读次数：
153
