MapReduce的体系结构 Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上TB的数据集。 采用MapReduce架构实现的程序能够在大量的普通配置的计算机构成的集群中实现并行化操作。MapR... ...
分类：
其他好文 时间：
2016-05-11 10:51:44
阅读次数：
161
Hadoop组成 包括两个核心组成：HDFS：分布式文件系统，存储海量的数据MapReduce：并行处理框架，实现任务分解和调度 搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务（搜索引擎、日志分析、商业智能、数据挖掘） 安装Java JDK 1,进入Sshell，检测是否安装java2， ...
分类：
其他好文 时间：
2016-05-11 01:19:03
阅读次数：
142
目录 1 使用sklearn进行数据挖掘 1.1 数据挖掘的步骤 1.2 数据初貌 1.3 关键技术2 并行处理 2.1 整体并行处理 2.2 部分并行处理3 流水线处理4 自动化调参5 持久化6 回顾7 总结8 参考资料 1 使用sklearn进行数据挖掘 1.1 数据挖掘的步骤 数据挖掘通常包括 ...
分类：
其他好文 时间：
2016-05-04 13:18:10
阅读次数：
248
Hadoop中的MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个机器组成的大型集群上，并且以一种可靠容错并行处理TB级别的数据集。
一个MapReduce作业(job)通常会把输入的数据集切分为若干独立的数据块，由Map任务并行处理它们。框架会对map函数的输出先进行排序，然后把结果输入 给Reduce任务。通常作业的输入和输出都会被存储在文件系统中。整...
分类：
其他好文 时间：
2016-04-29 19:46:23
阅读次数：
260
Hadoop中的MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个机器组成的大型集群上，并且以一种可靠容错并行处理TB级别的数据集。
一个MapReduce作业(job)通常会把输入的数据集切分为若干独立的数据块，由Map任务并行处理它们。框架会对map函数的输出先进行排序，然后把结果输入 给Reduce任务。通常作业的输入和输出都会被存储在文件系统中。整...
分类：
其他好文 时间：
2016-04-26 21:45:06
阅读次数：
351
MapReduce 定义
Hadoop 中的 MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集
MapReduce 特点
MapReduce 为什么如此受欢迎？尤其现在互联网+时代，互联网+公司都在使用 MapReduce。MapReduce 之所以如此受欢迎，它主要有以下几个特点...
分类：
其他好文 时间：
2016-04-22 20:10:12
阅读次数：
123
SQL 语句缺省是在一个 CPU上串行（Serial）执行的，即便系统中有多个 CPU存在，一个 SQL 语句也无法利用它们。这样一来一个 CPU 所能使用的资源就决定了 SQL 语句的性能。这 时提升性能的另一种方法就应运而生，也就是并行处理——同时利用多个 CPU进行工作。正统的理论界认为，企业的数据库有两种类型，OLTP 和 OLAP，前者用于业务处理，其 特点是大量的运行时间很短的事务型...
分类：
数据库 时间：
2016-04-22 14:49:04
阅读次数：
283
20145311 《Java程序设计》第七周学习总结 教材学习内容总结 第十二章 Lambda Lambda表达式会使程序更加地简洁，在平行设计的时候，能够进行并行处理。 第十三章 时间与日期 13.1Time&&Date 13.1.1时间的度量 1、Greenwich Mean Time（格林威治 ...
分类：
编程语言 时间：
2016-04-17 13:10:24
阅读次数：
199
队列模式 每个处理机从待处理队列提取任务进行处理然后将结果保存到已处理队列，多个处理机可以并行处理队列任务。 要点 1. 快速失效并返回错误 2. 将复杂的大的请求分解成多个小请求 3. 利用 超时 4. 利用 缓存 5. 用队列来做缓冲 6. 精确测量每个步骤，记录详细日志 ...
分类：
其他好文 时间：
2016-04-13 12:43:04
阅读次数：
110
6 面向列的数据库
在本章中将研究第三类NoSQL数据存储：面向列的数据库。以列来替代行存储和处理数据的方法起源于分析和商业智能，在一个无共享的大规模并行处理（注：MPP）架构中的列存储可用于构建高性能应用。这一领域引人注目的产品是Sybase IQ和Vertica（[ Nor09 ]）。然而，在这一章中，面向列的存储类型被视为少一些纯粹性，也包括了整合面向列和行的数据存储...
分类：
数据库 时间：
2016-04-13 09:49:30
阅读次数：
300
