今天主要学习了对spark的初步认识以及相应名词的理解 包括Spark特点、 Scala特性、BDAS架构、Spark组件的应用场景、Spark基本概念、Spark运行架构、 Spark架构设计的优点 、Spark各种概念之间的相互关系 Hadoop 是基于磁盘的大数据计算框架 Spark是基于内存 ...
分类：
其他好文 时间：
2020-01-26 22:32:22
阅读次数：
95
调度系统: 1. oozie: 和hadoop、hive、spark有很强的版本依赖 ...
分类：
其他好文 时间：
2020-01-26 22:31:20
阅读次数：
91
1. 下载安装 官网下载链接 1.1 这里选择安装的是2.9.2，使用下面命令进行下载： 1 # cd ~/software 2 wget http://apache.communilink.net/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz 1.2 ...
分类：
其他好文 时间：
2020-01-26 16:00:24
阅读次数：
128
我的hadoop 节点有两个， 两个cdhslave节点，一个master节点； cdh02,cdh03为slave节点，cdh01为master节点 ntp服务器和两个节点，两个节点的时间从master节点获取时间并进行同步。 在master节点 先检查有没有ntp fuwu安装 rpm -qa ...
分类：
其他好文 时间：
2020-01-26 14:41:22
阅读次数：
85
一. Hive基础概念 1.什么是Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序。 1）Hiv ...
分类：
其他好文 时间：
2020-01-26 11:46:27
阅读次数：
96
sqoop安装完毕后，还需要一些坑爹的配置，此处瑾纪录下过程以及遇到过的麻烦： 1.下载sqoop并加mysql驱动包 http://mirror.bit.edu.cn/apache/sqoop/,下载，如下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz， 将mysql（ ...
分类：
其他好文 时间：
2020-01-25 20:49:13
阅读次数：
103
执行Sqoop中import命令后报错 Warning: /opt/module/sqoop/bin/../../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your H ...
分类：
其他好文 时间：
2020-01-25 16:56:24
阅读次数：
444
日期：2020.01.24 博客期：132 星期五 好了今天是除夕，先给大家说句吉利话，“祝大家打代码代代顺利，码码成功”！我因为回家了，今天没做太多东西... ...呼~ 登录虚拟机，启动hadoop和hive，准备做数据处理部分！ //建数据库的语句 create table govdata( ...
分类：
编程语言 时间：
2020-01-24 18:44:16
阅读次数：
85
大数据环境需要的安装包合集，包括： apache flume 1.7.0 bin.tar.gz apache hive 1.2.1 bin.tar.gz hadoop 2.7.2.tar.gz hbase 1.3.1 bin.tar.gz jdk 8u144 linux x64.tar kafka_ ...
分类：
其他好文 时间：
2020-01-24 17:25:13
阅读次数：
88
一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 二、实验平台 操作系统：Ubuntu16.04； Spark 版本：2.1.0； Hadoop 版 ...
分类：
其他好文 时间：
2020-01-24 17:13:10
阅读次数：
113
