a.配置项(在分布式环境中配置) 1.RPC访问地址 mapreduce.jobhistory.address 2.HTTP访问地址 mapreduce.jobhistory.webapp.address b.（伪分布式环境中直接使用即可） mr-jobhistory-daemon.sh start ...
分类：
其他好文 时间：
2019-08-22 10:57:02
阅读次数：
84
Hadoop的三种模式搭建 准备工作（对Linux客户机的操作） 安装Linux（centOS7） 关闭防火墙、IP主机名映射（vi /etc/hosts）、修改主机名（vi /etc/hostname） 安装jdk 配置环境变量 Hadoop本地模式（客户机1台） 1. 安装Hadoop 2. 配 ...
分类：
其他好文 时间：
2019-08-10 19:01:24
阅读次数：
96
MapReduce 实例一：（进行文件的分词读取） 1.1 首先导入架包 1.2 编写Mapper 1.3 编写Reduce 1.4 编写job驱动 1.5 在hsfs 中的方法： [root@head42 ~]# hadoop jar mapreduce-1.0-SNAPSHOT.jar com. ...
分类：
其他好文 时间：
2019-07-25 00:53:34
阅读次数：
184
开发语言层面：1、继续巩固java功底，jdk8，9，10，11新特性2、python，go3、jvm 4、多线程编程5、响应式编程6、函数式编程 数据库层面：1、mysql调优，数据库运行原理。2、redis，MongoDB等常用nosql的使用，原理，各自优缺点和应用场景。3、掌握数据库索引相关 ...
分类：
其他好文 时间：
2019-07-07 14:13:24
阅读次数：
121
Hive的配置详解和日常维护 一.Hive的参数配置详解 1>.mapred.reduce.tasks 2>.hive.mapred.mode 3>.hive.merge.mapfiles 4>.hive.merge.mapredfiles 5>.hive.exec.parallel 6>.hive ...
分类：
其他好文 时间：
2019-07-06 19:09:42
阅读次数：
117
1. RDD 的设计与运行原理 Spark 的核心是建立在统一的抽象 RDD 之上，基于 RDD 的转换和行动操作使得 Spark 的各个组件可以无缝进行集成，从而在同一个应用程序中完成大数据计算任务。 在实际应用中，存在许多迭代式算法和交互式数据挖掘工具，这些应用场景的共同之处在于不同计算阶段之间 ...
分类：
其他好文 时间：
2019-07-02 09:22:26
阅读次数：
134
* 如果是Ubuntu系统，下面的yum命令要换成apt-get命令。yum remove -> apt-get purgeyum list installed | grep -> sudo apt-cache search all | grep * yum的参数-y是过程中所有提示都自动选yes。 ...
分类：
其他好文 时间：
2019-06-28 14:28:45
阅读次数：
137
package com.bjsxt.mgqq; import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apac ...
分类：
其他好文 时间：
2019-06-20 09:16:39
阅读次数：
107
hadoop-env.sh：脚本中所用到的环境变量，以运行Hadoop mapred-env.sh：脚本中所用到的环境变量，以运行mapreduce yarn-env.sh：脚本中所用到的环境变量，以运行YARN core-site.xml：hadoop core 的配置选项，如HDFS，MapRe ...
分类：
其他好文 时间：
2019-06-17 10:52:44
阅读次数：
97
转：https://www.cnblogs.com/haimishasha/p/7634359.html 问题描述：The auxService:mapreduce_shuffle does not exist 问题分析：The auxService:mapreduce_shuffle does n ...
分类：
其他好文 时间：
2019-06-09 09:53:47
阅读次数：
125
