一、几个可能会用到的属性值 1、mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution 这两个属性可以决定Map任务和Reduce任务是否开启推测式执行策略。推测式执行策略在Hadoop中用.....
分类：
其他好文 时间：
2014-09-03 19:48:07
阅读次数：
358
参考：http://hadoop.apache.org/docs/r2.5.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.htmlMaven和WordCount代码： ...
分类：
其他好文 时间：
2014-09-03 19:45:17
阅读次数：
270
最近一直在学习hadoop一直没有梳理接触到的东西，常见算法分类：推荐系统（推荐引擎）：基于用户的协同过滤算法UserCF近邻算法，容易实现基于物品的协同过滤算法ItemCF速度快，容易实现分布式计算SlopeOne算法@Deprecatedatmahout0.8KNNLinearinterpolationitem–based推荐算?.
分类：
其他好文 时间：
2014-09-03 18:29:07
阅读次数：
221
Text是Hadoop中的一个Writable类，定义了Hadoop中的其中的数据类型以及操作。 This class stores text using standard UTF8 encoding. It provides methods to serialize, deserialize, ....
分类：
其他好文 时间：
2014-09-03 16:28:37
阅读次数：
370
Spring提供了对于Redis的专门支持：spring-data-redis。此外，类似的还有：我想大部分人对spring-data-hadoop、spring-data-mongodb、spring-data-redis以及spring-data-jpa表示关注。一、简述spring把专门的数据...
分类：
编程语言 时间：
2014-09-03 12:34:56
阅读次数：
286
hadoop学习笔记之--完全分布模式安装 Hadoop完全分布式模式安装步骤 Hadoop模式介绍 单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途 伪分布模式：在单节点上同时启动namenode、datan...
分类：
其他好文 时间：
2014-09-02 20:02:55
阅读次数：
368
Hbase 是一个分布式的、面向列的开源数据库，其实现是建立在google 的bigTable 理论之上，并基于hadoop HDFS文件系统。 Hbase不同于一般的关系型数据库(RDBMS)。是一种适用于非结构化数据存储的数据库，且Hbase是基于列的数据库。 下面的内容基于我们已经安装好h.....
分类：
其他好文 时间：
2014-09-02 19:37:55
阅读次数：
217
一、项目要求 本文讨论的日志处理方法中的日志，仅指Web日志。事实上并没有精确的定义，可能包含但不限于各种前端Webserver——apache、lighttpd、nginx、tomcat等产生的用户訪问日志，以及各种Web应用程序自己输出的日志。 二、需求分析： KPI指标设计 PV(PageVi...
分类：
其他好文 时间：
2014-09-02 15:28:05
阅读次数：
363
Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架。其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型，以及基于hdfs和MapReduce而开发的一系列上层应用软件。 hdfs是在一个网络中以流式数据访问模式来存储超大文件的跨.....
分类：
其他好文 时间：
2014-09-02 15:22:34
阅读次数：
365
大数据时代的数据价值随着大数据时代的数据价值大数据在各个领域的深入应用，大数据本身存在的价值也正在凸显， 研究人员与商业用户等分析大数据，是为了洞察客户的真正需求。数据有价值，公司离不开数据，但是大数据时代的数据价值究竟有多值钱呢？分析大数据并从中获取价值的成本到底有需要多少呢？在过去，技术专家向高...
分类：
其他好文 时间：
2014-09-02 14:02:24
阅读次数：
254
