在MapReduce整个过程可以概括为以下过程： 输入 --> map --> shuffle --> reduce -->输出 输入文件会被切分成多个块，每一块都有一个map task map阶段的输出结果会先写到内存缓冲区，然后由缓冲区写到磁盘上。默认的缓冲区大小是100M，溢出的百分比是0.8 ...
分类：
其他好文 时间：
2018-01-01 20:33:39
阅读次数：
133
Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方 ...
分类：
其他好文 时间：
2018-01-01 00:29:37
阅读次数：
217
http://hadoop.apache.org/docs/r2.9.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html Overview 一个MapReduce作业通常会将数据输入切分成独立的块 ...
分类：
其他好文 时间：
2017-12-26 00:55:11
阅读次数：
210
本文主要讨论四个问题： （1）为什么会有冗余表的需求 （2）如何实现冗余表 （3）正反冗余表谁先执行 （4）冗余表如何保证数据的一致性 一、需求缘起 互联网很多业务场景的数据量很大，此时数据库架构要进行水平切分，水平切分会有一个patition key，通过patition key的查询能够直接定位 ...
分类：
其他好文 时间：
2017-12-25 16:06:28
阅读次数：
172
整理3Blue1Brown的课程内容，方便随时翻看。 原视频地址：https://www.bilibili.com/video/av10308208/ 前文中，我们用一种先切分划分微小值的方式，将一个大问题划分为若干小问题，然后获得一个求得近似解的方法。 之后，我们通过将划分值不断缩小的方式，将原来 ...
分类：
其他好文 时间：
2017-12-25 01:04:56
阅读次数：
478
早上起来之后发现座位被zzh占了，得知座位改为先来后到，什么鬼…… 于是去了另一个有耳机的机房，然而并没有什么卵用。 T1上来感觉很有意思，先切50分再说。T2好像是原题的说，切了原题30分后大胆猜测打出n^2，50分，然后接着考打表再得10分，开始去看第三题，不是很懂。回来接着切T2，打了半天表成 ...
分类：
其他好文 时间：
2017-12-22 22:56:42
阅读次数：
99
1.substring 作用：根据字符串下标进行截取 结果： 2.split 作用：根据指定字符对字符串进行切分。返回值为String类型的数组。 结果： 3. ...
分类：
其他好文 时间：
2017-12-22 19:46:59
阅读次数：
142
26 集群使用初步 HDFS的设计思路 l 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l 重点概念：文件切块 ...
分类：
Web程序 时间：
2017-12-20 20:23:12
阅读次数：
789
1.数字int 整数的应用环境多数是计算，所以记住一种函数即可。 2.布尔值bool 布尔值就两种：True，False。就是反应条件的正确与否。真 1 True。假 0 False。 3.字符串str 3.1索引与切分 3.2字母转换函数 3.3内容填充函数 3.4元素统计函数 3.5Tab填充函 ...
分类：
编程语言 时间：
2017-12-19 01:03:07
阅读次数：
155
（笔记） 一维数组按照子数组元素个数进行切分并且整合成一个新的二维数组 效果图 ...
分类：
编程语言 时间：
2017-12-16 16:02:19
阅读次数：
353
