算法的开章，递归是实现其他高级算法如深度优先、分治等的基础； 碰到一个题目就找它的重复性，重复性有最近的重复性（根据重复性怎么构造怎么分解-->分治、回溯等办法，本质就是递归），或者最优重复性（即动态规划）。 本质上就是找它的重复性。 找重复性以及分解问题，最后组合每个子问题的结果。 1. 分治 D ...
分类：
编程语言 时间：
2020-07-11 19:23:28
阅读次数：
48
从源头上解决，在上传到HDFS之前，就将多个小文件归档 使用tar命令 带上参数-zcvf 示例： tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了，可以使用在线归档 使用hadoop archive命令 示例： hadoop archive -archiveNa ...
分类：
其他好文 时间：
2020-07-11 17:00:14
阅读次数：
76
作为一名 Java 编程语言的开发者，我们早已习惯了使用命令式编程和面向对象对象，因为 Java 从第一个版本开始就是支持这些编程方式。然而在 Java 8 中我们获得了一组强大的新的函数特性和语法。函数式编程已经有十几年的历史，与面向对象的编程方式相比，函数式编程更简洁、更具表达力、更不容易出错， ...
分类：
编程语言 时间：
2020-07-11 12:59:59
阅读次数：
63
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
cat hadoop-env.sh export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08" cat yarn-env.sh YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08" cat hbase-env ...
分类：
其他好文 时间：
2020-07-10 19:26:31
阅读次数：
86
mapred-default.xml： 版本 参数位置 参数名 默认值 说明 cdh5.0.1 mapred-default.xml mapred.reduce.tasks（mapreduce.job.reduces） 1 默认启动的reduce数。通过该参数可以手动修改reduce的个数 mapr ...
分类：
其他好文 时间：
2020-07-10 15:35:12
阅读次数：
74
众所周知，在 Java 编程中，程序员通常会使用==或equals()来简单的比较地址，内容是否相等。而这两者之间的使用区别，对于初学 Java 的同学来说可能会比较迷糊。我将根据下面的几段示例程序，来对这两种比较方法进行分析，供大家参考： private static void method1() ...
分类：
编程语言 时间：
2020-07-10 11:46:47
阅读次数：
61
集群启动顺序： NameNode启动 NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程 ...
分类：
其他好文 时间：
2020-07-10 00:43:16
阅读次数：
97
package com.baway.loginfaildetect import java.util import org.apache.flink.cep.PatternSelectFunctionimport org.apache.flink.cep.scala.{CEP, PatternStr ...
分类：
其他好文 时间：
2020-07-10 00:15:34
阅读次数：
92
package com.sjw.hbase; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org ...
