第1章 课程介绍&学习指南本章会对这门课程进行说明并进行学习方法介绍。第2章 为什么要学SparkSpark作为近几年最火爆的大数据处理技术，是成为大数据工程师必备的技能之一。本章节将从如下几个方面对Spark进行一个宏观上的介绍：Spark产生背景、特性、环境部署、Spark与Hadoop的对比、 ...
分类：
数据库 时间：
2019-11-11 00:32:19
阅读次数：
534
本博客主要介绍Hive和MySql的搭建： 学习视频一天就讲完了，我看完了自己搭建MySql遇到了一堆坑，然后花了快两天才解决完，终于把MySql搭建好了。然后又去搭建Hive，又遇到了很多坑，就这样一直解决问题，加上网上搜索和个人排查检查日志。搜索百度，百度不行搜索Bing，看了csdn，看str ...
分类：
其他好文 时间：
2019-11-10 13:30:15
阅读次数：
84
文章目录 Docker搭建Hadoop环境 Docker的安装与使用 拉取镜像 克隆配置脚本 创建网桥 执行脚本 Docker命令补充 更换镜像源 安装vim 启动Hadoop 测试Word Count 查看Web管理页面 Docker搭建Hadoop环境 Hadoop集群环境配置起来相当繁琐，并且 ...
分类：
其他好文 时间：
2019-11-10 12:07:55
阅读次数：
120
1、hadoop-env.sh配置，2、hdfs-site.xml配置文件，3、core-site.xml配置文件，4、mapred-site.xml配置，5、yarn-site.xml配置，6、slaves配置（DataNode）
分类：
其他好文 时间：
2019-11-09 23:32:30
阅读次数：
135
纠删码（Erasure Code）中的数学知识 背景 在数据存储领域，Hadoop采用三副本策略有效的解决了存储的容错问题，但是三副本策略中磁盘的利用效率比较低，仅有33%，而且副本带来的成本压力实在太高，后来适时的出现了纠删码的概念。当冗余级别为n+m时，将这些数据块分别存放在n+m个硬盘上，这样 ...
分类：
其他好文 时间：
2019-11-09 19:57:47
阅读次数：
127
zookeeper 注册中心 Zookeeper 是 Apacahe Hadoop 的子项目，是一个树型的目录服务，支持变更推送，适合作为 Dubbo 服务的注册中心，工业强度较高，可用于生产环境，并推荐使用 [1]。 流程说明： 服务提供者启动时: 向 /dubbo/com.foo.BarServ ...
分类：
其他好文 时间：
2019-11-09 17:13:22
阅读次数：
101
目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装规划 3 3.1. 用户规划 3 3.2. 目录规划 4 4. 相关端口 4 5. 下载安装包 4 6. 修改配置文件 5 6.1. 修改策略 5 6.2. 修改conf/regionservers 5 6.3. 修改conf/hbase- ...
分类：
其他好文 时间：
2019-11-09 11:51:05
阅读次数：
123
虚拟机搭建自定义类型 主机名为hadoop可以省略 很多步骤 1.安装虚拟机 配置和网络 (1)IPADDR (2)NETMASK (3)GATEWAY (4)DNS1 远程连接 Xshell 关闭防火墙 （1）service iptables stop （2）chkconfig iptables ...
分类：
其他好文 时间：
2019-11-09 11:20:37
阅读次数：
91
1、首先是jdk的路径问题 为了和以后出现的hadoop，spark出现 路径带有空格导致 调用失败的情况， 直接把 jdk的路径 剪切到 没有空格的目录下。 D:\>echo %JAVA_HOME% C:\Java\jdk1.8.0_202 到这里，在cmd下，能 看到 scala -versio ...
本人在搭建完全分布式时， 启动start-all.sh时： 出现了slave1:mkdir :无法创建目录"/opt/apps/hadoop/logs":权限不够 slave2:mkdir:无法创建目录"/opt/apps/hadoop/logs":权限不够 顾名思义肯定是slave1,和slave ...
分类：
移动开发 时间：
2019-11-08 20:52:41
阅读次数：
375
