算法的开章，递归是实现其他高级算法如深度优先、分治等的基础； 碰到一个题目就找它的重复性，重复性有最近的重复性（根据重复性怎么构造怎么分解-->分治、回溯等办法，本质就是递归），或者最优重复性（即动态规划）。 本质上就是找它的重复性。 找重复性以及分解问题，最后组合每个子问题的结果。 1. 分治 D ...
分类：
编程语言 时间：
2020-07-11 19:23:28
阅读次数：
48
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
mapred-default.xml： 版本 参数位置 参数名 默认值 说明 cdh5.0.1 mapred-default.xml mapred.reduce.tasks（mapreduce.job.reduces） 1 默认启动的reduce数。通过该参数可以手动修改reduce的个数 mapr ...
分类：
其他好文 时间：
2020-07-10 15:35:12
阅读次数：
74
承接上一篇，NoSQL实验 MapReduce实验 如何在Eclipse中运行MapReduce程序，参考厦大数据库实验室博客 总体代码： package org.apache.hadoop.examples; import java.io.IOException; import java.util ...
分类：
其他好文 时间：
2020-07-09 15:08:03
阅读次数：
127
基于上一次运行成功查看输出文件没有结果的经历，这一次仔细理解了pso的MapReduce代码，发现自己之前的输入数据并不符合代码要求的格式，于是加以修改了。 根据此代码，输入数据应该是如下字段： 粒子编号、位置向量1、粒子速度1、个人最优位置1、全局最优位置1、位置向量2、粒子速度2、个人最优位置2 ...
分类：
其他好文 时间：
2020-07-08 19:30:59
阅读次数：
65
RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个可分区，不可变，里面的元素可并行计算的结合。RDD具有自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显示地将工作集换存在内存中，后续的查询能够重用工作集 ...
分类：
其他好文 时间：
2020-07-06 16:20:23
阅读次数：
61
Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的，基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序 MapR ...
分类：
其他好文 时间：
2020-07-06 15:47:59
阅读次数：
67
一.Map的原理和运行流程 Map的输入数据源是多种多样的，我们使用hdfs作为数据源。文件在hdfs上是以block(块，Hdfs上的存储单元)为单位进行存储的。 1.分片 我们将这一个个block划分成数据分片，即Split（分片，逻辑划分，不包含具体数据，只包含这些数据的位置信息）,那么上图中 ...
分类：
其他好文 时间：
2020-07-06 14:25:24
阅读次数：
60
ThreadPool与Task ThreadPool很难控制线程执行顺序，无法知道线程执行完成，Task弥补这些缺点。 使用CancelTokenSource通知子线程。 async task await C#异步编程模型 一个方法被标记为async，编译器会将方法的代码转换成实现了状态机的一个类型 ...
分类：
编程语言 时间：
2020-07-06 12:32:17
阅读次数：
56
Google的三篇论文，Google File System，MapReduce以及Big Table可以说是整个大数据领域的三驾马车，这里，我们简单介绍下这三驾马车基本都是干哈的，重点解读下Bigtable: A Distributed Storage System for Structured ...
分类：
其他好文 时间：
2020-07-05 17:38:34
阅读次数：
68
