原理流程分析 Map端： 文件存储在HDFS中，每个文件切分成多个一定大小（默认128M）的Block（默认3个备份）存储在多个数据节点上，数据格定义以"\n"分割每条记录，以空格区分一个目标单词。 每读取一条记录，调用一次map函数，然后继续读取下一条记录直到split尾部。 map 输出的结果暂 ...
分类：
其他好文 时间：
2020-01-28 16:02:42
阅读次数：
109
当我第一次阅读 Java8 中的 Stream API 时，说实话，我非常困惑，因为它的名字听起来与 Java I0 框架中的 InputStream 和 OutputStream 非常类似。但是实际上，它们完全是不同的东西。 Java8 Stream 使用的是函数式编程模式，如同它的名字一样，它可 ...
分类：
编程语言 时间：
2020-01-27 13:53:56
阅读次数：
63
1. 解锁JFR-XX:+UnlockCommercialFeatures -XX:+FlightRecorder 2. 查看APP的PIDjcmd 3. 启动JFRjcmd 12868 JFR.start name=201902211523 settings=e:\my.jfc duration= ...
分类：
编程语言 时间：
2020-01-23 11:14:45
阅读次数：
83
我就直接上代码了都是实际项目里面用到的 1.假设这个json就已经是树型结构数据了（如果不知道怎么实现树型结构数据请看我另一篇博客） var compressedArr=afcommon.treeDataToCompressed(json);/**************************** ...
分类：
Web程序 时间：
2020-01-22 20:00:54
阅读次数：
235
一. 写在前面 centos7建议使用systemctl来管理服务的自启动，它能够满足之前service和chkconfig的功能 1.systemd有系统和用户区分；系统（/user/lib/systemd/system/）、用户（/etc/lib/systemd/user/） 2.一般系统管理员 ...
分类：
其他好文 时间：
2020-01-22 16:46:44
阅读次数：
124
1.简介 Git是一个开源的分布式版本控制系统，用于敏捷高效的处理任何或大或小的项目。它采用了分布式版本库的方式，不必服务器端软件支持。 2.Git和Svn的区别 1、Git 是分布式的，SVN 不是：这是 Git 和其它非分布式的版本控制系统，例如 SVN，CVS 等，最核心的区别。 2、Git ...
分类：
其他好文 时间：
2020-01-20 14:26:12
阅读次数：
732
通过开发，测试，生产的三库分离设置，来存放不同成熟度的 Docker 镜像，这样方便做镜像仓库的清理，只清理开发库的镜像，同时，生产库只有CI 服务器能上传，运维只接受生产库里的镜像，进行镜像漏洞扫描，部署到生产环境。有什么问题欢迎留言讨论。
分类：
其他好文 时间：
2020-01-20 11:16:54
阅读次数：
103
场景 业务需要，优惠券列表要求按类型进行排序，但是，类型并不是顺序的，即 是解决不了问题的 建表 CREATE TABLE ( int(20) NOT NULL AUTO_INCREMENT, varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_ge ...
分类：
数据库 时间：
2020-01-18 16:36:28
阅读次数：
91
B、happy card 列出所有条件：人数 n，总的快乐牌 num，限制手牌 m 我们可以 DP 的是：前 i 个人在总牌数为 j 的情况下，第 i个人拿 k 张牌的最大幸福值。想想似乎和01背包有点儿类似，那么状态转移方程也就不难写出来了： dp?[i][j]=max?(dp?[i?1][j?k ...
分类：
其他好文 时间：
2020-01-18 16:28:02
阅读次数：
105
SparkContext SparkContext 是在 spark 库中定义的一个类，作为 spark 库的入口点； 它表示连接到 spark，在进行 spark 操作之前必须先创建一个 SparkContext 的实例，并且只能创建一个； 利用 SparkContext 实例创建的对象都是 RD ...
分类：
其他好文 时间：
2020-01-18 12:44:55
阅读次数：
66
