安装环境为 CentOS 64位系统，大概分下面几个步奏，0. 安装JDK1. 配置SSH2. 配置/etc/hosts3. 拷贝hadoop包到没台机器上4. 修改hadoop配置文件5. 关闭每台机器的防火墙6. 格式化namenode7. 运行hadoop详细说每个步奏，0. 安装jdk下载J...
分类：
其他好文 时间：
2014-06-21 12:37:47
阅读次数：
272
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些...
分类：
其他好文 时间：
2014-06-21 08:57:48
阅读次数：
430
阿里巴巴集团总參谋长曾鸣大数据最重要的特征不在大小，而在死活。就企业而言，数据的死活决定一切，从数据的管理到数据的运用，数据必须能活起来，開始跑通迭代，才干产生持续价值。互联网将高速颠覆众多的传统行业。这两年，这种话听多了，多少有些“狼来了”，让人逐渐麻木。但是，不经意间，出租车这个再传统只是的行业...
分类：
其他好文 时间：
2014-06-21 08:29:38
阅读次数：
180
5、多表关联 多表关联和单表关联类似，它也是通过对原始数据进行一定的处理，从其中挖掘出关心的信息。下面进入这个实例。5.1 实例描述 输入是两个文件，一个代表工厂表，包含工厂名列和地址编号列；另一个代表地址表，包含地址名列和地址编号列。要求从输入数据中找出工厂名和地址名的对应关系，输出"工厂名——地...
分类：
其他好文 时间：
2014-06-21 06:29:10
阅读次数：
221
6、倒排索引 "倒排索引"是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（Inverted In...
分类：
其他好文 时间：
2014-06-21 00:35:21
阅读次数：
371
现状IT日新月异，完全让人慌张和措手不及，不久前刚出来MVC，很快就连升几个版本；其他的，Swift，智能穿戴，大数据等等，让我这样笨拙的人情何以堪啊！！！是的，我爱技术，但同时我又比较笨和比较浮躁。（不对称关系组合在一起，真揪心）说比较笨，是因为我CPU处理速度不是那么地快，随着年龄的增长，确实力...
分类：
其他好文 时间：
2014-06-21 00:01:54
阅读次数：
249
本文所有涉及的内容均为2.2.0版本中呈现。 概述： Job在创建Job并且提交的人的眼中，可以在创建的时候通过配置Job的内容，控制Job的执行，以及查询Job的运行状态。一旦Job提交以后，将不能对其进行配置，否则将会出现IllegalStateException异常。 正常情况下用户...
分类：
其他好文 时间：
2014-06-20 23:46:15
阅读次数：
374
一、刚装上hive在执行hive启动的过程中出现[hadoop@localhost hive-0.6.0]$ hiveInvalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum representable si...
分类：
其他好文 时间：
2014-06-20 22:17:04
阅读次数：
278
[QQ群: 189191838，对算法和C++感兴趣可以进来] 数据挖掘领域一直都非常的火。现在炒的非常热的大数据，其实也是数据挖掘的一个应用而已，不管工程师用的是Hadoop还是其他平台，其实都是对一堆的数据进行分析，计算，然后得到我们希望得到的结果。所以我们可以知道，文本数据挖掘的必要性是...
分类：
其他好文 时间：
2014-06-20 21:49:12
阅读次数：
255
存储能力是提供给上层业务系统以实现文件存取服务，这个存储能力为XDFS，即可扩展的分布式文件系统，实现的原理是封装了第三方的分布式存储系统实现的。目前封装的第三方分布式系统包括FastDFS、Hadoop的HDFS，所提供的存储接口如下： 1 文件上传 2 文件断点上传 3 文件...
分类：
其他好文 时间：
2014-06-20 21:21:55
阅读次数：
470
