一. 前期准备 1. Vmware workstation pro 16 官网下载 : https://www.vmware.com/ 密钥：ZF3R0-FHED2-M80TY-8QYGC-NPKYF （若失效请自行百度） 2. xshell,xftp 官网下载（需要注册） 3. 国内镜像网站下载c ...
MapReduce详细工作流程之Map阶段 如上图所示 首先有一个200M的待处理文件 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 提交：提交可以提交到本地工作环境或者Yarn工作环境，本地只需要提交切片信息和xml配置文件，Yarn环境还需要提交jar包；本地 ...
分类：
其他好文 时间：
2020-12-22 12:23:51
阅读次数：
0
章节： 第一章节：CentOS 7 配置hadoop(一) 安装虚拟机（伪分布） 第二章节：CentOS 7 配置hadoop(二) 配置hdfs（伪分布） 第三章节：CentOS 7 配置hadoop(三) 配置hbase（伪分布） 第四章节：CentOS 7 配置hadoop(四) 配置hive ...
分类：
其他好文 时间：
2020-12-21 11:30:46
阅读次数：
0
1、提交任务 //提交任务直到返回结果job.waitForCompletion(true); 2、点击waitForCompletion方法到Job.java类 3、跟进到submit方法，调用方法： return submitter.submitJobInternal(Job.this, clu ...
分类：
其他好文 时间：
2020-12-21 11:24:14
阅读次数：
0
hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2 ...
分类：
其他好文 时间：
2020-12-19 13:37:26
阅读次数：
3
连接hdfs 根据hdfs的版本引用相关的hdfs依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependency> <groupId>org.apache.hadoop</group ...
描述 xxl-job elastic-job（lite） saturn 主要作者 大众点评徐雪里 当当网张亮 唯品会开源，基于elastic-job 特殊环境 mysql5.7+ zookeeper 同elastic-job 特殊功能 策略丰富，支持分片 ，子任务 支持分片，分片策略比xxl-job ...
分类：
其他好文 时间：
2020-12-18 12:27:17
阅读次数：
2
打开eclipse工具，找到上节课创建好的“yijindaxue”工程，在工程中依次找到“src”=>“com.yijindaxue”目录下“LoginActivity.java”文件，双击打开该文件。
分类：
编程语言 时间：
2020-12-17 12:21:36
阅读次数：
1
1. 配置主机名 [root@hadoop01 ~]# hostname #显示当前主机名 方法一：通过配置文件/etc/hostname （重启后生效） [root@hadoop01 ~]# vim /etc/hostname 方法二：通过命令hostnamectl set-hostname 新主 ...
分类：
其他好文 时间：
2020-12-17 12:11:05
阅读次数：
2
前言前不久帮同事一起review一个job执行缓慢的问题时发现不少朋友在撸码实现功能时还是有需要细节不够注意，于是便有了这篇文章。ArrayList踩坑List<String>temp=newArrayList();//获取一批数据List<String>all=getData();for(Stringstr:all){temp.add(str);}首先大家看看这段代码有什
分类：
其他好文 时间：
2020-12-16 12:52:45
阅读次数：
3
