101、paste：将多个文件按列队列合并说明paste命令用于将多个文件按照列队列进行合并语法paste(选项)指定需要合并的文件列表选项-d<间隔字符>或--delimiters=<间隔字符>：用指定的间隔字符取代跳格字符；-s或--serial串列进行而非平行处理。实例pasteinotify_clien..
分类：
系统相关 时间：
2017-07-30 23:47:27
阅读次数：
277
MapReduce编程模型 一种分布式计算模型框架，解决海量数据的计算问题 MapReduce将整个并行计算过程抽象到两个函数 map(映射)：对一些独立元素组成的列表的每一个元素进行指定的操作，可以高度并行 reduce:对一个列表的元素进行合并 一个简单的MapReduce程序只需要指定map( ...
分类：
其他好文 时间：
2017-07-30 19:10:27
阅读次数：
135
合并小文件，存放到HDFS上， 采取在向HDFS复制上传的过程中将小文件进行合并，效果会更好 ...
分类：
其他好文 时间：
2017-07-30 13:50:42
阅读次数：
91
fork/join的java7新添加的功能，能够把它理解成一个并发框架。我们通过fork/join能将一个可分解的大任务。分解成多个子任务同步运行。运行完成后，在将各子任务的结果进行合并，得到终于的结果。 使用fork/join，首先要创建fork/join任务。能够通过继承RecursiveAct ...
分类：
其他好文 时间：
2017-07-24 17:38:21
阅读次数：
148
包含不小于$\sqrt n$列的只有不大于$\sqrt n$行，修改时这些行打标记，否则暴力更新，操作一列的时候暴力更新这些行。合并没啥影响直接搞就是了。更新需要访问位置，我用的是哈希表。期望复杂度$O(n\sqrt n)$。 不知道正解是啥…… ...
分类：
其他好文 时间：
2017-07-14 10:13:08
阅读次数：
164
Spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。 首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。 而合并就用到union函数，重新入库，就 ...
分类：
其他好文 时间：
2017-07-03 23:54:08
阅读次数：
471
使用wmsys.wm_concat 实现行合并在 Oracle 中， 将某一个栏位的多行数据转换成使用逗号风格的一行显示。能够使用函数 wmsys.wm_concat 达成。这个在上一篇 oracle内置函数 wmsys.wm_concat使用 中也介绍到。參考这一段 “Case 1: 列转换行。 ...
分类：
数据库 时间：
2017-07-02 14:21:03
阅读次数：
181
C#两路list数组归并去重 个相同类型已排序数据进行合并，虽然list数组中有AddRange方法，但它只是把第二个数组从第一个数组末尾插入，假如两个数组有重复数据，保存进去。还有Union方法合并去重，首先会从第一个数组进行检查然后再把第二个数组数据从第一个数组依次从末尾插入，但相对于自定义类型 ...
分类：
编程语言 时间：
2017-06-28 14:27:28
阅读次数：
232
Struts1.x Apache项目的一个子项目 2001年出现Struts1，成为第一个MVC框架 2004年成为Apache软件基金会的顶级项目 Struts2.x 在Struts1.x和webwork的基础上进行合并 但是struts2和struts1的差异很大，却和webwork几乎相同，级 ...
分类：
其他好文 时间：
2017-06-28 11:47:53
阅读次数：
120
一、单例模式 对象数据类型的作用 把描述同一个事物（同一个对象）的属性和方法放在一个内存空间下，起到了分组的作用，这样不同事物之间的属性即使属性名相同 ，相互也不会发生冲突 我们把这种分组编写代码的模式叫做"单例模式" 在单例模式中我们把person1或者person2也叫做"命名空间" 单例模式是 ...
分类：
Web程序 时间：
2017-06-27 18:43:31
阅读次数：
245
