一台FTP服务器,查看文件是否占用过多空间.然后就scp到指定服务器.删除过期文件已提前使用ssh-keygen-trsa
ssh-copy-id-iroot@server添加相关信任本来想用pexpect模块自动输入密码.然后发现这个在复制大文件似乎有问题.查了一下说更改下面的文件vi/usr/lib/python2.7/dist-packa..
分类：
其他好文 时间：
2015-01-19 19:14:51
阅读次数：
194
1. HDFS体系结构 HDFS支持大文件，以流的方式访问数据，数据分布在数据节点（Data Node），文件的元数据保存在名字节点（Name Node）。名字节点的内存大小，决定了HDFS文件系统可保存的文件数量，所以大量小文件会影响名字节点的性能（尽管名字节点内存都较大）。 1.1 数据块Blo...
分类：
其他好文 时间：
2015-01-19 18:52:14
阅读次数：
280
最近又学习了两个类，FileStream，这个类是做什么的呢？
先看一下MSDN给出的官方解释
FileStream：公开以文件为主的 Stream，既支持同步读写操作，也支持异步读写操作。
小编理解：主要是以流的形式来操作文件。
什么是流？
在日常生活中，有车流、水流等，而正是有了流的存在，才不至于交通拥挤，洪水爆发，而是以一种流的形式慢慢的来疏通（不知能否理解）...
相信很多人都知道网站一般会有很多图片，对于小型网站来说，图片放在网站服务器上不算什么，但当图片数量很大时，会造成服务器很臃肿，相应地对带宽要求也会提高，这就造成了成本的增加。其实现在已经流行云存储，我们可以把图片、大文件等放到第三方提供的云存储服务上，这会减少一部分成本。这门课程就介绍了JavaWe...
分类：
编程语言 时间：
2015-01-17 19:19:47
阅读次数：
451
HDFS的主要特性 HDFS是基于流数据模式访问和处理超大文件的需求而开发的。HDFS主要特点 概括为以下几点：1.处理超大文件。超大文件通常是指数百MB、甚至数百TB大小的文件。2.检测和快速应对硬件故障。一般的HDFS系统是由数百台甚至上千台服务器组成，因此，故障检测和自动恢复是HDFS的一个....
分类：
其他好文 时间：
2015-01-15 01:38:20
阅读次数：
240
比较Java新旧I/O的性能——以复制大文件为例...
分类：
编程语言 时间：
2015-01-14 22:53:38
阅读次数：
165
在处理大文件时，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作，都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。package test; import java.io.BufferedInp....
分类：
编程语言 时间：
2015-01-13 23:11:10
阅读次数：
324
一、问题 近期在使用git时遇到一个问题，就是在git上传文件时，将一个100兆的大文件添加到了git，并执行了push操作，这时在上传完毕后，会提示这个错误 Large files detected
see http:git.io/iEPt8g for more information
this ...
分类：
其他好文 时间：
2015-01-13 19:47:33
阅读次数：
612
Windows 2003Server的解决办法Windows 2003 Server下无法上传附件，无论是文章还是软件上传都会出现：Request 对象 错误 'ASP 0104 : 的错误，请按照下面的说明一步步操作： 更改win2003的IIS 6.0对asp教程的上传文件大小为200k限制，....
一、概述1、什么是异步？异步操作通常用于执行完成时间可能较长的任务，如打开大文件、连接远程计算机或查询数据库。异步操作在主应用程序线程以外的线程中执行。应用程序调用方法异步执行某个操作时，应用程序可在异步方法执行其任务时继续执行其他的任务。2、同步与异步的区别同步（Synchronous）：在执行某...
