（转）作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！我以下图为基础，说明Linux的架构(architecture)。(该图参考《Advanced Programming in Unix Environment》)最内层是硬件，最...
分类：
系统相关 时间：
2014-09-19 21:01:36
阅读次数：
312
一、HDFS的shell命令简介我们都知道HDFS 是存取数据的分布式文件系统，那么对HDFS 的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作，如ls、mkdir、rm 等。我...
分类：
其他好文 时间：
2014-09-19 17:03:45
阅读次数：
334
ASP.Net:http://www.tracefact.net/Asp-Net-Architecture/Http-Request-Processing-Flow.aspx
分类：
其他好文 时间：
2014-09-19 15:31:55
阅读次数：
121
错误如下:Undefinedsymbolsforarchitecturei386:"_sqlite3_close",referencedfrom:-[DatabaseOperationcloseDatabase]inDatabaseOperation.o"_sqlite3_exec",referencedfrom:-[DatabaseOperationcreateTable:]inDatabaseOperation.o-[DatabaseOperationInsertTable:]inDatabase..
分类：
数据库 时间：
2014-09-19 02:21:25
阅读次数：
226
本文用到了查看hadoop源码，关于hadoop源码导入Eclipse方式见第一期一、HDFS的背景介绍 随着数据量越来越大，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。 学术一.....
分类：
其他好文 时间：
2014-09-18 23:33:44
阅读次数：
260
HDFS作为Hadoop中 的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为 MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有...
分类：
其他好文 时间：
2014-09-18 13:09:33
阅读次数：
309
准备知识：1.在InputFormat<k,v>这个接口中，有两个方法，InputSplit[]getSplits();RecordReader<k,v>getRecordReader();2.mapreduce作业提交与初始化过程。作业提交：（1）命令行提交。。。。（2）获取作业ID,创建HDFS目录（你指定的存放结果的目录）上传文件到HD..
分类：
其他好文 时间：
2014-09-16 19:08:21
阅读次数：
231
Sqoop2Intermediate representation
在Sqoop2的connector中提供了自己的map处理，map用于导入数据到HDFS。因为这段代码将完全被connector维护，所以，我们需要找到一个适用所有connector和所有情况的中间格式（map output）。本文的目标是比较不同的中间数据格式（intermediate representation），以使我们...
分类：
其他好文 时间：
2014-09-15 11:21:18
阅读次数：
246
查看Mat文档时里面是这么描述Shallow Heap的：Shallowheap is the memory consumed by one object. An object needs 32 or 64 bits(depending on the OS architecture) per reference, 4 bytes per Integer, 8 bytesper Long, etc....
分类：
编程语言 时间：
2014-09-14 16:45:47
阅读次数：
204
