今天在做的时候需要从大文件开始 搜索各个小文件夹中的图片。 那么就可以使用很简单的递归（效率的问题暂时没怎么考虑）。
private ArrayList readnewlist(String path)
{
File file = new File(path);
File []files = file.listFiles();
fo...
分类：
移动开发 时间：
2015-07-20 11:02:58
阅读次数：
144
一、cookie介绍cookie 常用于识别用户。cookie 是服务器留在用户计算机中的小文件。每当相同的计算机通过浏览器请求页面时，它同时会发送 cookie。通过 PHP，您能够创建并取回 cookie 的值。1、设置CookiePHP用SetCookie函数来设置Cookie。SetCook...
分类：
其他好文 时间：
2015-07-17 20:40:45
阅读次数：
114
公司业务主要做数据备份（支持文件增量备份），因此在测试时，需要定时生成新文件，测试业务运作是否正常。
将以下脚本文件加入crontab，即可实现定时生成新文件。脚本的原理主要是使用dd指令创建指定大小的文件。
<?php
$timestamp = time();
$id = uniqid();
$filename = "/tmp/{$timestamp}.img";...
分类：
Web程序 时间：
2015-07-10 11:29:03
阅读次数：
179
今天帮同学处理一点语料。语料文件有点大，并且是以连续两个换行符作为段落标志，他想把它按段落分隔成多个小文件，即每3个段落组成一个新文件。由于以前没有遇到过类似的操作，在网上找了一些相似的方法，看起来都有点复杂。所以经尝试，自己写了一段代码，完美解决问题。
基本思路是，由先读原文件内容，并使用正则表达式，依据\n\n进行切片处理，结果为一个列表，其中每一个列表元素都存放一个切片中的内容；然后创建一个...
分类：
编程语言 时间：
2015-07-08 02:08:10
阅读次数：
173
LFS 超快的文件系统，可以同时存储海量大文件和小文件。并且不单单是一个文件系统，我还用作了数据库。 ????我的测试数据是：和 C 直接读写文件速度几乎一样。 ????项目地址：github ?git@osc ??...
分类：
其他好文 时间：
2015-07-03 20:46:35
阅读次数：
341
对文件系统原理学习的理解 按需分配。打开的文件属性才放入内存中。关键点是记录某个文件用到哪几块磁盘地址。一个文件可能占多个磁盘块,可能是一个。关键在于文件的的大小文件名，磁盘块地址，多个。连续分配：一个文件占据了3个磁盘块。是连续在一起的。读的性能很好，读一个文件的内容只要一次操作，找到第一个磁盘块...
分类：
其他好文 时间：
2015-06-29 13:11:28
阅读次数：
104
Hadoop分布式文件系统（Hadoop Distributed File System, HDFS）分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
hdfs只是其中一种。适用于一次写入、多次查询的情况，不支持并发写情况，小文件不合适。2.HDFS架构HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数...
分类：
其他好文 时间：
2015-06-27 16:31:09
阅读次数：
100
File类：静态类，Create Delete Copy Move ，主要用来对数据对文本文件进行读写File类：缺点：只能读写小文件读写操作： //byte[] buffer = File.ReadAllBytes(@"C:\Users\Administrator\Deskt...
分类：
Web程序 时间：
2015-06-25 12:19:50
阅读次数：
135
当Hive的输入由很多个小文件组成时，如果不涉及文件合并的话，那么每个小文件都会启动一个map task。
如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至发生OutOfMemoryError错误。
因此，当我们启动一个任务时，如果发现输入数据量小但任务数量多时，需要注意在Map前端进行输入小文件合并操作。
同理，向一个表写数据时，注意观察reduce...
分类：
其他好文 时间：
2015-06-23 23:12:55
阅读次数：
143
如果HIVE的输入文件是大量的小文件，而每个文件启动一个map的话是对yarn资源的浪费，同样的，Hive输出的文件也远远小于HDFS块大小，对后续处理也是不利的...
分类：
其他好文 时间：
2015-06-18 11:32:27
阅读次数：
126
