运行spark时提示如下信息： hadoop@MS-YFYCEFQFDMXS:/home/trp$ cd /usr/local/spark hadoop@MS-YFYCEFQFDMXS:/usr/local/spark$ ./bin/pyspark env: ‘python’: No such fi ...
分类：
编程语言 时间：
2020-07-19 23:47:58
阅读次数：
111
NSIS 是“Nullsoft 脚本安装系统”(Nullsoft Scriptable Installation System)的缩写，它是一个免费的 Win32 安装、卸载系统，采用了简洁高效的脚本方式。它本来是一个由 Nullsoft 创建并用于作为 Winamp 及其插件发布的系统，但现已被上 ...
分类：
其他好文 时间：
2020-07-19 23:38:39
阅读次数：
86
4 WritableComparable排序 1．排序的分类 2．自定义排序WritableComparable （1）原理分析 bean对象做为key传输，需要实现WritableComparable接口重写compareTo方法，就可以实现排序。 @Override public int com ...
分类：
其他好文 时间：
2020-07-19 23:23:07
阅读次数：
67
7 Combiner合并 （6）自定义Combiner实现步骤 （a）自定义一个Combiner继承Reducer，重写Reduce方法 public class WordcountCombiner extends Reducer<Text, IntWritable, Text,IntWritabl ...
分类：
其他好文 时间：
2020-07-19 23:19:55
阅读次数：
69
MapTask工作机制 MapTask工作机制如图4-12所示。 图4-12 MapTask工作机制 （1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。 （2）Map阶段：该节点主要是将解析出的key/value交给 ...
分类：
其他好文 时间：
2020-07-19 23:10:43
阅读次数：
67
1．ReduceTask工作机制 ReduceTask工作机制，如图4-19所示。 图4-19 ReduceTask工作机制 （1）Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。 （2）Merge ...
分类：
其他好文 时间：
2020-07-19 23:09:27
阅读次数：
72
1. 环境准备 说明：本次集群搭建使用系统版本Centos 7.5 ，软件版本 V3.1.1。 1.1 配置说明 本次集群搭建共三台机器，具体说明下: 主机名 IP 说明 hadoop01 10.0.0.10 DataNode、NodeManager、NameNode hadoop02 10.0.0 ...
分类：
其他好文 时间：
2020-07-19 16:31:06
阅读次数：
63
在企业开发中，Hadoop框架自带的InputFormat类型不能满足所有应用场景，需要自定义InputFormat来解决实际问题。 自定义InputFormat步骤如下： （1）自定义一个类继承FilelnputFormat。 （2）自定义一个类继承RecordReader，实现一次读取一个完整文 ...
分类：
其他好文 时间：
2020-07-19 16:25:43
阅读次数：
67
SQLMap详解 ~1.1什么是sqlmap： sqlmap是一个自动化的sql注入工具，其主要功能是扫描、发现并利用给定URL的SQL注入漏洞，内置了很多绕过插件，支持的数据库是MySQL、Oracle、PostgreSQL、Microsoft SQL Server、Microsoft Acces ...
分类：
数据库 时间：
2020-07-19 16:05:13
阅读次数：
82
前景回顾第一节从零开始手写mybatis（一）MVP版本中我们实现了一个最基本的可以运行的mybatis。常言道，万事开头难，然后中间难。mybatis的插件机制是mybatis除却动态代理之外的第二大灵魂。下面我们一起来体验一下这有趣的灵魂带来的痛苦与快乐~插件的作用在实际开发过程中,我们经常使用的Mybaits插件就是分页插件了，通过分页插件我们可以在不用写count语句和limit的情况下就
分类：
其他好文 时间：
2020-07-19 13:54:55
阅读次数：
70
