问题描述： 在hadoop中处理多个文件，其中每个文件一个map。 我使用的方法为生成一个文件，文件中包含所有要压缩的文件在HDFS上的完整路径。每个map 任务获得一个路径名作为输入。 在eclipse中调试时，map中处理hdfs上的文件用到的FileSystem对象为整个class...
分类：
编程语言 时间：
2015-03-12 11:09:05
阅读次数：
152
原来我要实现的是最基本的将本地文件拷贝到HDFS上去，所以写了下面的程序：package com.lcy.hadoop.file;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;im...
分类：
其他好文 时间：
2015-03-11 16:37:00
阅读次数：
271
Android的外部存储 Android支持外部存储(case-insensitive filesystem with immutable POSIX permission classes and modes)。 外部存储可以通过物理介质提供(如SD卡)，也可以通过将内部存储中的一部分封装而成，.....
分类：
移动开发 时间：
2015-03-11 16:26:13
阅读次数：
152
将硬盘挂载到指定目录，如/data在hdfs-site.xml中修改 dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data,/data Determines where on the local filesystem an DFS data ...
分类：
其他好文 时间：
2015-03-11 14:23:44
阅读次数：
111
内核支持NFS分区(即编译时在Filesystem中选中[*]RootfilesystemonNFS),以及支持内核IP_PNP(即编译时在Networking中选中[*]IP:kernellevelautoconfiguration)Filesystems--->NetworkFileSystem...
分类：
其他好文 时间：
2015-03-06 19:01:27
阅读次数：
119
参照前面提到的通过Hadoop URL读取数据，有时根本不可能在应用中设置URLStreamHandlerFactory实例，在这种情况下，需要使用FileSystem API来打开一个文件的输入流使用FileSystem以标准输出格式显示Hadoop文件系统中的文件程序如下：package com...
新建一个项目，首先添加 System.IO.Compression.FileSystem 引用。解压文件using System.IO.Compression;namespace cl{ static void Main() { string zip...
分类：
其他好文 时间：
2015-03-04 16:04:27
阅读次数：
137
新做的一块板子，程序是做到SD卡里面，全部自动烧录的，包括Uboot,Kernel,Filesystem；所以程序是一样的，
现在问题是，网卡启动不了：
查看Uboot的参数发现：ethaddr=00:00:00:00:00:00
然后进入系统后，
ifconfig只有
lo Link encap:Local Loopback
inet add...
分类：
其他好文 时间：
2015-03-02 13:19:07
阅读次数：
173
当数据集的大小超过一台独立物理计算机的存储能力时，就有必要对它进行分区并且存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件系统被称为分布式文件系统(distributed filesystem).
分布式文件系统架构于网络智商，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更加复杂，比如文件系统能够容忍节点故障但是不丢失数据就是一个很大的挑战。
...
分类：
其他好文 时间：
2015-03-01 11:55:38
阅读次数：
150
