文章： http://blog.csdn.net/lili72
背景： 分布式文件通过rsync同步到生产机。 文件数 1440=24*60 也就是一分钟生成一个文件 文件命名 0000 0001 0002 ... 2358 2359 。由于文件传过来是JSON格式，需要对文件进行解析，导入HDFS中。
过程
1 rsync同步文件到当天的日期目录，每天实时把文件...
分类：
Web程序 时间：
2014-12-19 23:32:53
阅读次数：
407
这次配置的环境是Hadoop1.2.1版本，Hadoop在13年推出了Hadoop2.0版本，该版本在Hadoop1.0版本的基础上作了较大的改动，提升了Hadoop集群任务调度、资源分配以及故障处理方面的效率。 Hadoop2.0在Hadoop1.0的基础上，首先对HDFS作了改动，在Had...
分类：
其他好文 时间：
2014-12-19 14:10:00
阅读次数：
147
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据，则MapReduce为海量的数据提供了计算。Hadoop 容易开发和运行处理大...
分类：
其他好文 时间：
2014-12-19 10:07:54
阅读次数：
307
1 运行环境说明... 31.1 硬软件环境... 31.2 机器网络环境... 32 书面作业1：编译并运行《权威指南》中的例3.2. 32.1 书面作业1内容... 32.2 运行代码... 32.3 实现过程... 42.3.1 创建代码目录... 42.3.2 建立例子文件上传到hdfs中....
分类：
其他好文 时间：
2014-12-19 08:10:17
阅读次数：
327
hive创建目录时相关的几个hdfs中的类:org.apache.hadoop.hdfs.DistributedFileSystem，FileSystem的具体实现类
org.apache.hadoop.hdfs.DFSClient，client操作hdfs文件系统的类
org.apache.hadoop.fs.permission.FsPermission文件权限相关类，主要的方法有getUMask和applyUMask..
分类：
其他好文 时间：
2014-12-19 01:58:23
阅读次数：
149
YARN
Hadoop2.0与HAdoop1.0的区别：
Hadoop1.0主要由HDFS和MapReduce两个系统够长，但在Hadoop2.0中主要由 Hadoop Common、HDFS 、Hadoop YARN和Hadoop MapReduce2.0构成。
Hadoop1.0更多是在于离线的...
分类：
其他好文 时间：
2014-12-18 14:56:59
阅读次数：
244
2014年11月25日，Storm发布了0.9.3的版本。Storm 0.9.3的版本修改了100个Bug，改进了与Kafka的集成，并增加了与HDFS和HBase的集成。改进了与Kafka的集成Apache Storm从0.9.2-incubating版本开始支持Kafka作为流数据的数据源。0....
分类：
其他好文 时间：
2014-12-17 20:12:03
阅读次数：
223
#!/bin/bash
hadoop_home=/opt/hadoop-2.4.0
tw_nginx_home=/var/www/nginx_0
cn_nginx_home=/var/www/nginx1
current_date=$(date +%Y%m%d)
echo "hadoop_home = $hadoop_home"
echo "tw_nginx_home = $t...
分类：
其他好文 时间：
2014-12-17 18:35:46
阅读次数：
378
本文发表于本人博客。这次来看看我们的客户端用url方式来连接JobTracker。我们已经搭建了伪分布环境，就知道了地址。现在我们查看HDFS上的文件，比如地址：hdfs://hadoop-master:9000/data/test.txt。看下面代码： static final String...
分类：
编程语言 时间：
2014-12-17 09:48:36
阅读次数：
175
本文提供几个简单的实例，来说明如何使用hadoop的java API针对HDFS进行文件上传、创建、重命名、删除操作本文地址：http://www.cnblogs.com/archimedes/p/hdfs-api-operations.html，转载请注明源地址。1.上传本地文件到HDFS通过Fi...
