现在 Oracle 官方每隔半年就会出一个 JDK 新版本。按时间来算的话，这个月就要出 JDK15 了。然而，大部分公司还是在使用 JDK7 和 8 。 之前去我朋友家，竟然被嘲笑不会用 JDK8 。不服气的我，回来之后，当然是重点学习之啊。 话不多说，本文目录如下： 目录： lambda 表达式 ...
分类：
其他好文 时间：
2020-09-17 18:19:33
阅读次数：
29
1 开启 Map 输出阶段压缩(中间压缩) 开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。具体配置如下： 步骤1: 开启 Hive 中间传输数据压缩功能 map 任务和 reduce 任务之间的数据的压缩. hive.exec.compress.i ...
分类：
其他好文 时间：
2020-09-17 17:04:51
阅读次数：
30
当运行中出现Container is running beyond physical memory这个问题出现主要是因为物理内存不足导致的，在执行mapreduce的时候，每个map和reduce都有自己分配到内存的最大值，当map函数需要的内存大于这个值就会报这个错误，解决方法： 在mapredu ...
分类：
其他好文 时间：
2020-09-17 13:31:24
阅读次数：
39
聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起，按条件分组后，再进行一系列操作（如求和、平均值、最大值、最小值）以返回单个结果。 MongoDB 提供了三种执行聚合的方法：聚合管道、map-reduce 和单一目标聚合方法，这里只介绍前两种方法。 聚合管道方法 Mong ...
分类：
数据库 时间：
2020-09-17 12:01:48
阅读次数：
32
#MapReduce Google File System提供了大数据存储的方案，这也为后来HDFS提供了理论依据，但是在大数据存储之上的大数据计算则不得不提到MapReduce。 虽然现在通过框架的不断发展，MapReduce已经渐渐的淡出人们的视野，越来越多的框架提供了简单的SQL语法来进行大数 ...
分类：
其他好文 时间：
2020-09-12 21:52:03
阅读次数：
61
在进行对接第三方接口时，进行参数组装成json的过程中出现参数传递格式错误以及json格式化错误。 在拼接json时，如果json中有对象，则以map的方式组装好所有参数。最后map转成json，不然直接用jsonObject对象put参数，会自动在json中的json那里帮我们添加转义符以及把{} ...
分类：
Web程序 时间：
2020-09-08 20:48:31
阅读次数：
66
1、主要用于异步计算2、可以将异步操作队列化，按照期望的顺序执行，返回符合预期的结果3、可以在对象之间传递和操作promise，帮助我们处理队列 promise详解 new Promise( function (resolve, reject) { // 一段耗时的异步操作 resolve('成功' ...
分类：
其他好文 时间：
2020-09-07 18:44:06
阅读次数：
57
1 Sqoop概述 传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。 当大数据存储和Hadoop生态系统的MapReduce，Hive，HBase，Cassandra，Pig等分析器 ...
分类：
其他好文 时间：
2020-09-03 16:44:55
阅读次数：
40
出现错误必须解决（当即），解决不了更改方案避开问题，如果遇到问题必须解决不能放到以后 做一件事做好后再做下一件 函数体中要使用外部的东西必须通过参数来传递 看书，学习要带着问题，面对问题要提出自己的解决方法才能提高 重视警告信息，感谢编译器的提示 优化：最有价值的地方进行优化 简单：函数简单清晰，便 ...
分类：
其他好文 时间：
2020-08-31 13:06:44
阅读次数：
35
1. 功能说明 有一个测试方法： def test_train(framework): print(framework) assert framework == 'gbm' 希望该方法的framework的值可以通过 pytest的参数传递过来，比如： pytest --framework=deep ...
分类：
其他好文 时间：
2020-08-28 14:43:40
阅读次数：
85
