（1）利用TreeSet排序,该方式利用小顶堆和集合重复原理的方式 , 每过来一个数据 , 跟堆顶数据进行比较 , 如果比最小的大 , 则将过来的数据替换堆顶元素 , 否则直接跳过数据 . 以此对数据进行排序 . import java.io.File; import java.io.IOExcep ...
分类：
其他好文 时间：
2020-05-16 16:50:58
阅读次数：
50
百度大数据实习生：（百度科技园一号楼） 2018-3-31 笔试： 1.双指针的题 2.找出字符串中第一个出现两次的字母 3.通过前中序求二叉树 4.快速排序，堆排序 5.数据库的左右连接 面试： 1.MapReduce分几步，shuffle原理 2.hive 的知识 3.数据库，数据仓库 4.代码 ...
分类：
其他好文 时间：
2020-05-14 01:50:12
阅读次数：
77
1.WordCount程序任务 输入:一个包含大量单词的文本文件 输出:文件中没个单词及出现的次数(频数)，并按照单词顺序排序每个单词和其频数占一行，单词和频数之间有间隔 2.WordCount程序设计思路 WordCount可以使用MapReduce去做 在/usr/local/目录下创建Word ...
分类：
其他好文 时间：
2020-05-13 19:46:40
阅读次数：
77
springboot项目部署到服务器常见的方式就是打成war包部署Tomcat或者打成jar包直接使用内置容易运行，很多人现在都打成war包部署到tomcat，这种方式虽然没问题 但是后期维护比较麻烦。从官方的说明中 打成jar部署是最好的方式，但是这样又有个问题 如果同时部署多个spring-bo ...
分类：
编程语言 时间：
2020-05-13 16:59:54
阅读次数：
107
maven项目中因为引入的有log4j2 在打成jar包 通过java cp 命令运行时，引起下面这段错误，后果就是log日志无法打印。 先分析原因： log4j2 是采用的插件式编程，当log4j2包编译时，或者含有log4j2插件的包编译时，会将需要加载的插件信息放在META INF/org/a ...
分类：
编程语言 时间：
2020-05-12 11:54:58
阅读次数：
61
第一步：把项目打成jar包 第二步：运行cmd输入打包命令1.首先使用cmd定位到jar宝贝所在的路径下：2.再输入下面这行代码 mvn install:install-file -Dfile=java-bloomfilter-1.0.jar -DgroupId=com.sina -Dartifac ...
分类：
其他好文 时间：
2020-05-09 15:25:03
阅读次数：
85
二者对比 1.Hive 数据仓库：本质其实就相当于将hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便用HQL去管理查询。 用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。 基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终 ...
分类：
其他好文 时间：
2020-05-09 01:23:51
阅读次数：
63
将jar包放置服务器运行 1.环境配置 + 在/etc/profile中配置 + 在hadoop env.sh配置,==在for循环后面添加== 直接在开发平台运行，连接到HBase服务端（以IDEA为例） 1.环境配置，添加hbase site.xml，将远程的hbase site.xml文件内容 ...
分类：
其他好文 时间：
2020-05-07 22:58:36
阅读次数：
83
MapReduce的默认输出数据的间隔符是制表符，现在想改成逗号间隔，可通过Configuration对象修改 configuration.set("mapred.textoutputformat.ignoreseparator","true"); configuration.set("mapred ...
分类：
其他好文 时间：
2020-05-07 13:40:29
阅读次数：
67
1 介绍 1.1 概念 面向批处理的分布式计算框架 一种编程模型：MapReduce程序被分为Map（映射）阶段和Reduce（化简）阶段 1.2 核心思想 分而治之，并行计算 移动计算，而非移动数据 1.3 特点 计算跟着数据走 良好的扩展性：计算能力随着节点数增加，近似线性递增 高容错 状态监控 ...
分类：
其他好文 时间：
2020-05-07 00:30:19
阅读次数：
80
