HTTP协议用于文件传输时，一般把文件内容放到消息体中。作为TCP之上的流式传输协议，发送端和接收端可以对大文件进行流式的发送和接收。
1．确定大小的文件传输
消息头部的Content-Length字段表示文件的长度，用于接收端确定文件的结束。
2．Chunked编码
当文件大小无法事先确定时，无法设置Content-Length字段。此时可以用分块传输的方...
分类：
Web程序 时间：
2015-08-28 23:22:55
阅读次数：
159
1.对于大流量的网站,您采用什么样的方法来解决访问量问题?首先，确认服务器硬件是否足够支持当前的流量其次，优化数据库访问。第三，禁止外部的盗链。第四，控制大文件的下载。第五，使用不同主机分流主要流量。第六，使用流量分析统计软件。2.用PHP写出显示客户端IP与服务器IP的代码://显示客户端IPfu...
分类：
Web程序 时间：
2015-08-28 19:31:54
阅读次数：
136
1-1 对于“我们要压缩什么”，我的理解是：压缩那些比较大的文件 冗余度比较高的文件1-2 对于问题“为什么压缩”，对此我的理解是：对其进行压缩后可以减少冗余度，在发送大文件的时候，先通过压缩，可以缩短发送时间。如果不压缩，很多应用或者服务不可用（如视频），还有对文字、图片、声音、动画进行压...
分类：
其他好文 时间：
2015-08-28 12:35:31
阅读次数：
103
上篇讲述了Hadoop分布式集群环境的搭建，其实重要是HDFS分布式文件系统的搭建，MapReduce主要是需要我们程序员来进行编写算法来进行逻辑运算的。这篇就重点来讲述一下HDFS（HadoopDistribute File System，也就是Hadoop分布式文件系统）。 一、HDFS的主要设计理念： 1、存储超大文件，这里的“超大文件”是指几百MB、GB甚至TB，PB级别的...
分类：
其他好文 时间：
2015-08-28 00:50:42
阅读次数：
163
1、问题描述
现在对一个2g的大文件，抽取第二列含有特点16个串的信息，并将这些含有特串的信息，写回到两个文件中
2、具体实现
（1）java代码
package naifen;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInp...
分类：
编程语言 时间：
2015-08-26 22:37:58
阅读次数：
281
HDFS是为以流式数据访问模式存储超大文件而设计的文件系统。
分类：
其他好文 时间：
2015-08-25 21:09:01
阅读次数：
141
大家知道在linux服务器大并发调优时，往往需要预先调优linux参数，其中修改linux最大文件句柄数是最常修改的参数之一。在linux中执行ulimit -a 即可查询linux相关的参数，如下所示：[root@mongodb11 ~]# ulimit -acore file size (blo...
分类：
系统相关 时间：
2015-08-25 19:11:07
阅读次数：
198
本文以 Hadoop 提供的分布式文件系统（HDFS）为例来进一步展开解析分布式存储服务架构设计的要点。架构目标任何一种软件框架或服务都是为了解决特定问题而产生的。还记得我们在 《分布式存储 - 概述》一文中描述的几个关注方面么？分布式文件系统属于分布式存储中的一种面向文件的数据模型，它需要解决单机文件系统面临的容量扩展和容错问题。所以 HDFS 的架构设计目标就呼之欲出了：
面向超大文件或大量的文...
分类：
其他好文 时间：
2015-08-21 23:26:44
阅读次数：
204
一个有10亿条记录的文本文件，已按照关键字排好序存储。请设计算法，可以快速的从文件中查找指字关键字的记录。 因为已经排好序了，可以使用 二分查找方法检索。 又因为文件过于庞大，可以将文件File分成1000份子记录集即读入10000次，每次读入10亿/10000条记录； 每次 读入一次...
分类：
其他好文 时间：
2015-08-20 14:37:46
阅读次数：
241
