Hadoop版本：2.6.0本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4146296.html背景在HDFS中，通常是通过DataNode来读取数据的。但是，当客户端向DataNode请求读取文件时，Dat...
分类：
其他好文 时间：
2014-12-05 13:59:52
阅读次数：
4071
Hadoop版本：2.6.0本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4146410.html简介本文描述了超级用户如何用一种安全的方法以其他用户的名义提交作业或者访问HDFS。使用场景下一节描述的代码示例...
分类：
其他好文 时间：
2014-12-05 13:59:41
阅读次数：
172
Hadoop提供了大量的API对文件系统中的文件进行操作，主要包括：
（1)读取文件
（2)写文件
（3)读取文件属性
（4)列出文件
（5)删除文件
1?读取文件
以下示例中，将hdfs中的一个文件读取出来，并输出到标准输出流中。
package org.jediael.hadoopdemo.fsdemo;
import java.io.IOException;
imp...
分类：
其他好文 时间：
2014-12-05 12:46:47
阅读次数：
171
今天讲讲怎么用sqoop将Hbase或者Hive的东西导出到mysql。不过事先要告诉大家：目前sqoop没有办法把数据直接从Hbase导出到mysql。必须要通过Hive建立2个表，一个外部表是基于这个Hbase表的，另一个是单纯的基于hdfs的hive原生表，然后把外部表的数据导入到原生表（临时），然后通过hive将临时表里面的数据导出到mysql...
分类：
数据库 时间：
2014-12-05 09:15:17
阅读次数：
438
系统架构师的职责和作用(转) 【职业名称】 系统架构师（System Architecture） 【职业定位】 系统构架，是对已确定的需求的技术实现构架、作好规划，运用成套、完整的工具，在规划的步骤下去完成任务。 系统架构师（又称企业架构师或者系统设计师）是一个最终确认和评估系统需求，给出开发规范，...
分类：
其他好文 时间：
2014-12-04 21:30:32
阅读次数：
198
说明：本来研究开源日志的系统是flume，后来发现配置比较麻烦，网上搜索到fluentd也是开源的日志收集系统，配置简单多了，性能不错，所以就改研究这个东东了！官方主页，大家可以看看：fluentd.org，支持300+的plugins，应该是不错的！fluentd是通过hadoop中的webHDFS与HDFS进..
分类：
其他好文 时间：
2014-12-04 18:18:05
阅读次数：
497
http://blog.jcole.us/2010/09/28/mysql-swap-insanity-and-the-numa-architecture/NUMA架构的CPU下,一个CPU有多个核心,那么每个CPU成为一个NODE关闭这个特性时一个NODE使用自己的本地内存,而尽量不去访问其他NODE的内存,除非本地内存满了Linux如何处理NUMA架构1把处理器分到节..
分类：
数据库 时间：
2014-12-04 18:15:22
阅读次数：
226
1、DataNode为每个数据复制数据副本，保存在其它DataNode中。2、NameNode文件系统的元数据全保存在RAM中，DataNode初始化以及每隔1小时，向NameNode发送块报告，以便NameNode掌握各个DataNode的运行状态，并进行DataNode的映射。3、预写日志。通过在edits中顺序增加的方式减少I/O操作。4、fsimage:NameNode启动后，加载fsim...
分类：
其他好文 时间：
2014-12-04 18:03:55
阅读次数：
184
reduce端缓存数据过多出现FGC，导致reduce生成的数据无法写到hdfs...
分类：
其他好文 时间：
2014-12-04 17:57:26
阅读次数：
450
总结了一下三个方法：hdfs自带 按字节复制 按行复制 （在java io里还有字符复制，暂且不提）因为hdfs自带的，不知道为什么有些场合不能用，每次能下载的个数还不一定，所以就考虑自己按照java的方式来复制，就出现第2、3种方法 // void downloadFromHdfs(String ...
分类：
其他好文 时间：
2014-12-04 17:20:25
阅读次数：
195
