前言 接上文，复习整理大数据相关知识点，这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务 ...
分类：
其他好文 时间：
2021-03-17 15:09:28
阅读次数：
0
报错 但是其实javax.servlet存在，且能正常运行，但是提示这个信息也特别让人难受。 解决方法 在pom.xml文件中添加 <dependencies> <dependency> <groupId>org.apache.geronimo.specs</groupId> <artifactId ...
分类：
编程语言 时间：
2021-03-17 14:29:58
阅读次数：
0
1 mvn compile 编译源代码 2 mvn clean 清理maven项目 3 mvn install -Dmaven.test.skip=true 发布项目到本地仓库，后面参数表示跳过单元测试 4 mvn install -Dmaven.test.skip=true 发布项目到远程仓库。 ...
分类：
其他好文 时间：
2021-03-16 13:59:00
阅读次数：
0
环境变量配置 添加M2_HOME：maven的bin目录 添加MAVEN_HOME：maven的根目录 编辑Path环境变量：%MAVEN_ HOME%\bin 然后在cmd窗口输入mvn -v查看是否配置成功 修改解压目录下conf/settings.xml文件 在mirrors节点下加入一个新的 ...
分类：
其他好文 时间：
2021-03-16 13:39:34
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-03-16 13:21:18
阅读次数：
0
idea如何设置默认的仓库和配置文件路径 首先，要知道如何更改仓库地址和配置文件路径 File-->settings，搜索框中输入maven，按照自己的路径填写 Maven home directory:Maven路径 User settings file : 配置文件路径 Local reposi ...
分类：
其他好文 时间：
2021-03-16 12:02:34
阅读次数：
0
1、说明： docker容器化部署是非常流行的，Java应用如果要运行在docker环境，就要制作包含该应用的docker镜像，可以手动使用dockerfile和docker-compose制作镜像，也可以使用插件docker-maven-plugin和jib-maven-plugin制作镜像；本文 ...
分类：
其他好文 时间：
2021-03-16 11:55:21
阅读次数：
0
注意修改 localRepository <?xml version="1.0" encoding="UTF-8"?> <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001 ...
分类：
其他好文 时间：
2021-03-16 11:54:14
阅读次数：
0
以表的操作和单条记录的增删改查为基础。 批量操作，需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie ...
分类：
编程语言 时间：
2021-03-15 11:32:26
阅读次数：
0
