HDFS数据完整性 用户希望存储和处理数据的时候，不会有任何损失或者损坏。 Hadoop提供两种校验 1、校验和 常用的错误检测码是：CRC-32（循环冗余校验）使用CRC-32算法任何大小的数据输入均计算得到一个32位的整数校验码。 2、运行后台进程来检测数据块 校验和 1、写入数据节点验证 Hd ...
分类：
其他好文 时间：
2018-01-26 21:02:43
阅读次数：
214
HDFS和MR主要针对大数据文件来设计，在小文件处理上效率低.解决方法是选择一个容器,将这些小文件包装起来,将整个文件作为一条记录,可以获取更高效率的储存和处理,避免多次打开关闭流耗费计算资源.hdfs提供了两种类型的容器 SequenceFile和MapFile。小文件问题的解决方案： 在原有HD ...
分类：
其他好文 时间：
2018-01-26 20:45:37
阅读次数：
143
1 File File可以将程序和电脑的文件夹或者文件关联起来 相对路径 绝对路径 2 基本概念 分类 流向 输入流，输出流 数据 字节流：二进制，可以使一切文件包括文件，文本音视频 字符流：文本文件，只可以处理纯文本 功能 节点流：包裹源头 处理流：增强功能，提供性能 字节流和字符流 1. 字节流 ...
分类：
编程语言 时间：
2018-01-25 16:46:07
阅读次数：
220
IO对象无拷贝或赋值操 1.不能拷贝或IO对象赋值 2.进行IO操作的函数以引用方式传递和返回流，读写一个IO操作会改变其状态，因此传递和返回的引用不能是const的。 ...
分类：
其他好文 时间：
2018-01-25 15:40:48
阅读次数：
148
一、阻塞和非阻塞 传统的 IO 流都是阻塞式的。也就是说，当一个线程调用 read() 或 write()时，该线程被阻塞，直到有一些数据被读取或写入，该线程在此期间不能执行其他任务。因此，在完成网络通信进行 IO 操作时，由于线程会阻塞，所以服务器端必须为每个客户端都提供一个独立的线程进行处理，当 ...
分类：
编程语言 时间：
2018-01-23 16:46:32
阅读次数：
143
读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。 读写文件前，我们先必须了解一下，在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从 ...
分类：
其他好文 时间：
2018-01-21 01:08:05
阅读次数：
249
FileInputStream <span style="font-family:Verdana;">import java.io.File; import java.io.FileInputStream; import java.io.InputStream; public class TestF ...
分类：
编程语言 时间：
2018-01-21 00:02:23
阅读次数：
243
本文旨在以实例的方式说明java的文件io操作的基本方法和流程。 源代码 Alice.txt文件↑ 控制台↑ ...
分类：
编程语言 时间：
2018-01-18 22:03:43
阅读次数：
151
网络游戏服务器注意事项，优化措施1：IO操作是最大的性能消耗点，注意优化余地很大。2：算法数据结构。排序寻路算法的优化。list,vector,hashmap的选择。大数据寻址，不要考虑遍历，注意考虑hash.3：内存管理。重载new/delete，内存池，对象池的处理。4：数据的提前准备和即时计算 ...
分类：
其他好文 时间：
2018-01-17 01:25:43
阅读次数：
183
这两天有个需求，点击按钮从SD卡解压压缩包，并读取压缩包内txt文档内容，然后在街面上显示出来。毕竟IO操作很耗时，如果文件较大会花费不少时间。所以，在处理数据的时候能给个进度就好了。我们通常的做法就是，点击按钮后弹出一个加载框或者加载进度条，等数据处理结束后，再让对话框消失。 但是现在的需求是，用 ...
分类：
移动开发 时间：
2018-01-17 00:27:58
阅读次数：
202
