设计思想 分而治之：将大文件、大批量文件，分布式放在大量服务器上，以便于采取分而治之的方式对海量数据进行预算分析； 在大数据系统中的作用：为各类分布式运算框架（如：MapReduce,Spark等)提供数据存储服务 重要概念：文件切块，副本存放，元数据 HDFS架构 HDFS各节点 NameNode ...
分类：
其他好文 时间：
2018-12-25 23:37:03
阅读次数：
217
大数据生态之 HDFS HDFS工作机制 客户端上传文件时，一方面由datanode存储文件内容，另一方面有namenode负责管理block信息（切块大小，副本数量，位于datanode上的位置信息） 一丶namenode的工作职责： a) 文件的路径 b) 文件的副本数量 c) 文件切块大小 d ...
分类：
其他好文 时间：
2018-12-16 19:33:16
阅读次数：
156
1.client端向namenode请求上传文件，查看文件是否存在，是否有权限往hdfs写入 2.如果文件不存在，权限OK就根据副本数N（例如2个），根据网络拓扑选择N个离client端最近的datanode返回client。 （把文件切块，一个一个block块的请求namenode，返回最优的da ...
分类：
Web程序 时间：
2018-11-23 23:52:49
阅读次数：
244
前两年偶然在佛经书上看到生土豆汁，正好胃难受，于是摸索着试了一下。 喝了一个月，体重从接近160斤降到了140几斤，然后胃也不难受了，分享一下。 拿一个大的或者俩小的土豆，带皮，只挂掉发芽和腐坏的皮，切块，用榨汁机打碎，加一杯凉开水稀释搅拌，先喝掉漂着的白沫，然后用过滤网过滤出汁水，等淀粉沉淀后，汁 ...
分类：
其他好文 时间：
2018-07-25 00:56:50
阅读次数：
368
1. HDFS前言 l 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，……）提供数据存储服务 l 重点概念：文件切块，副本存放，元数据 2. H ...
分类：
其他好文 时间：
2018-06-18 15:59:58
阅读次数：
189
1.HDFS的工作机制： 2.HDFS的写数据流程： 2.1.概述 客户端要向HDFS写数据，首先跟Namenode通信以确认可以写文件并获得接收文件block的datanode(切块在客户端进行)， 然后客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datano ...
分类：
Web程序 时间：
2018-06-17 13:42:01
阅读次数：
259
一、概述 1.HDFS中的角色 NameNode： 负责管理整个文件系统的元数据 Secondary NameNode： DataNode： 负责管理用户的文件数据块 文件会按照固定的大小（blocksize）切成若干块（由上传的客户端进行切块处理，这样不大于128M切块大小的实际是多少就是多少）后 ...
分类：
其他好文 时间：
2018-01-29 16:11:23
阅读次数：
164
Python学习笔记一、主要基本内容1.1主要python库（1）Numpy库：主要进行数据处理，对于数组进行元素级运算；线性代数运算，傅立叶变换，随机数的生产；（2）Pandas库：便捷处理结构化数据的大量数据结构和函数；（3）Matplotlib库：绘制数据图表；1.2主要工作（1）与外界交互：读写各种各样的格式和数据库；（2）准备：对数据进行清理、修整、整和、规范化、重塑、切片切块、变形等处
分类：
编程语言 时间：
2018-01-14 15:55:37
阅读次数：
212
26 集群使用初步 HDFS的设计思路 l 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l 重点概念：文件切块 ...
分类：
Web程序 时间：
2017-12-20 20:23:12
阅读次数：
789
吃货的最高境界就是把喜欢吃的东西用自己的双手做出来（哈哈哈......）,废话不多说了，直接开始做肉松吧！ 材料：猪肉，生姜、葱、花椒、桂叶、胡椒粉、料酒、生抽、盐，糖。 1、将买好的肉洗干净，切块，与生姜片、葱一起放入锅中，去除血水。 （——买哪种肉其实没太大差别，瘦肉多的会比较干，我做的时候买的 ...
分类：
其他好文 时间：
2017-10-16 12:26:56
阅读次数：
134
