一、 第三课 1. cat 命令 cat 用来查看文件内容的，一般查看短小文件内容。看大文件用more 命令 2. more 命令 more大小文件都可以看，未知情况下可以使用more. 3. head -n 15 anaconda-ks.cfg 看前15行 4. tail -f /ver/ 看文件 ...
分类：
其他好文 时间：
2019-11-15 22:26:58
阅读次数：
73
5.3.1 sequenceFile读写文件、记录边界、同步点、压缩排序、格式 HDFS和MapReduce是针对大文件优化的存储文本记录,不适合二进制类型的数据。SequenceFile作为小文件的容器，SequenceFile类型将小文件包装起来，可以获得更高效率的存储和处理。sequenceF ...
分类：
编程语言 时间：
2019-11-08 09:24:43
阅读次数：
101
一、拆分：压缩工具，压缩并拆分为多个小文件。 二、QQ离线传输 QQ离线文件有限制条件： 1.离线传送的文件，为用户保存7天，逾期接收方不接收文件，系统将自动删除该文件； 2. 离线传送的文件，单个文件大小上限为4G； 3.非会员享有2G/天发送文件流量，文件保存7天； 不同等级的会员用户每天拥有不 ...
分类：
其他好文 时间：
2019-11-07 13:23:50
阅读次数：
103
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
Web程序 时间：
2019-10-28 16:16:23
阅读次数：
116
[TOC]一、MapReduce跑得慢的原因1）计算机性能?CPU、内存、磁盘健康、网络。文件系统可以设置文件访问时，不更新atime2）I/O操作优化（1）数据倾斜（2）map和reduce数设置不合理（3）map运行时间太长，导致reduce等待过久（4）小文件过多（5）大量的不可分块的超大文件（6）spill次数过多（7）merge次数过多等。二、优化方案?MapReduce优化方法主要从几
分类：
其他好文 时间：
2019-10-26 21:01:31
阅读次数：
169
在“MapReduce--input之输入原理”中说到实现定义输入的方法，其实就是继承InputFormat以及RecordReader实现其中的方法。下面例子讲解操作。1、需求将多个文件合并成一个大文件（有点类似于combineInputFormat），并输出。大文件中包括小文件所在的路径，以及小文件的内容。2、源码inputFormatpublicclassSFileInputFormatex
分类：
其他好文 时间：
2019-10-25 10:12:07
阅读次数：
70
开发环境：Exynos4412-iTOP-4412开发板 下面来讲解一下如何使用 BusyBox 制作最小文件系统。 在虚拟机的 Ubuntu 的目录“/home”下新建目录“mkdir minilinux”，这个目录可以 根据个人习惯建立，并不是强制要求，如下图所示。 使用 SSH 软件拷贝 bu ...
分类：
系统相关 时间：
2019-10-17 13:55:41
阅读次数：
130
七、ES6模块和Class 1.ES6模块 在早期，JavaScript并没有模块体系，无法将一个大程序拆分成互相依赖的小文件，再用简单的方法拼装起来。在ES6之前，社区制定了一些模块加载方案，最主要的有CommonJS和AMD两种。前者用于服务器，后者用于浏览器。 ES6在语言标准的层面上，实现了 ...
分类：
其他好文 时间：
2019-10-14 21:04:39
阅读次数：
105
热点代码： 虚拟机中的字节码（.class文件内容）是由解释器（ Interpreter ）完成编译的，当虚拟机发现某个方法或代码块的运行特别频繁的时候，就会把这些代码认定为“热点代码”。 什么是jit编译： 为了提高热点代码的执行效率，在运行时，即时编译器（JIT）会把这些代码编译成与本地平台相关 ...
分类：
其他好文 时间：
2019-10-14 01:09:36
阅读次数：
110
最近公司要做office的文档，搜集了几种office文档转pdf的方式，简单的做下总结 我主要尝试了三种方式：openoffice，aspose，jacob 对他们进行了大文件，小文件，在linux，在windows，转换txt，excel，word，ppt的测试。 一、aspose：这种方式在目 ...
分类：
编程语言 时间：
2019-09-28 18:04:14
阅读次数：
160
