分别以1倍size，10倍size，100倍size写入同样大小的数据，分别测试大文件写入和内存拷贝。tfwrite woaoniyoujifen,yueliangdaibiaowodexin!small write 100w times begin ...begin sec[1433735551....
分类：
其他好文 时间：
2015-06-08 13:08:15
阅读次数：
215
最近在做字符串的保序压缩编码，由于暂时找不到合适的方式，采用了最笨的方式，对字符串进行排序再采用压缩编码。由于字符串数目巨大，一次性全部至于内存中就会出现段错误。我们常常说大文件的排序一般都是采用划分、内部排序再归并的方式，道理听过千遍，甚至烂熟于心，却依然在实现的过程中碰到很多问题。在已有系统中，...
分类：
编程语言 时间：
2015-06-07 17:10:25
阅读次数：
206
问题论坛上碰见一个问题：有 N 个 1-2G 大的文件，其中第六列是点分表示的 IPV4 地址，需要把它转为整数表示。#!/bin/awk -f{ len = split($6, a, ".") if (len == 4) { ip = lshift(a[1], 24) + lshift(...
分类：
其他好文 时间：
2015-06-07 17:05:50
阅读次数：
112
linux权限机制
权限
权限是操作系统用来限制对资源访问的机制，权限一般分为读、写、执行。系统中每个文件都拥有特定的权限、所属用户以及所属组，通过这样的机制来限制哪些用户、哪些组可以对特定文件进行什么样的操作。
每个进程都以某个用户的身份运行，所以进程的权限与用户的权限一样，用户的权限越大，该进程拥有的权限越大。
文件权限
linux中，每个文件拥有三种权限：
权限 对...
分类：
系统相关 时间：
2015-06-06 22:10:37
阅读次数：
264
题目其实很简单，答题意思就是从管道读取一组文件名，并且按照字典序排列，但是输入的时候按列先输出，再输出行。而且每一行最多60个字符。而每个文件名所占的宽度为最大文件名的长度加2，除了输出在最右边的文件名的宽度是最大文件名长度之外。编程实现这个功能，这就是Unix系统下ls命令的一部分而已。具体实现如...
分类：
其他好文 时间：
2015-06-05 00:39:17
阅读次数：
116
提到Netroid或许很多人不知道这个框架，但我如果说Volley想必没有人不知道吧。Netroid是一个基于Volley实现的Android
Http库。提供执行网络请求、缓存返回结果、批量图片加载、大文件断点下载的常见Http交互功能，关于网络请求，图片加载没什么好说的，Volley已经有很多人解析过了，这里来说一下大文件断点下载。
关于大文件断点下载，网上也有很多实现的demo,为...
分类：
移动开发 时间：
2015-06-04 17:14:22
阅读次数：
2323
在内存紧张的时候，我们都会选择删除一些无关紧要的大文件来释放内存，有不少网友发现在系统C盘下有一个appdata文件夹，而且体积挺大的，不知道能不能删除，针对此问题，本文就为大家介绍appdata文件夹的作用以及appdata可以删除吗很多用户发现在win7系统C盘下有一个appdata文件夹，而且...
分类：
移动开发 时间：
2015-06-03 19:32:49
阅读次数：
265
TCP/UDP编程中的问题汇总 TCP和UDP发送大文件的问题。答： 发送端：发送时，先发送文件的名称及大小等信息。然后，设置一个缓冲区的大小，假设为4K。再循环读4K的文件内容，并发送，直到发送完成。最后，再发送完成标记。接收端：接收到第一个包时，得到文件的大小等信息。计算出要接收多少个包。然后，...
分类：
其他好文 时间：
2015-06-02 19:51:38
阅读次数：
250
场景：PHP读取超大文件，例如1G的日志文件，我这里使用的是400M的access.log文件1、使用file直接读取";echo $endtime-$starttime;function microtime_float(){ list($usec, $sec) = explode(" ", ...
分类：
Web程序 时间：
2015-06-02 19:28:11
阅读次数：
107
