使用Sqoop将mysql数据传到hive 系统环境：hadoop2.65，mysql5.7.28，sqoop1.47，hive1.2.2，虚拟机centos7，物理机windows10 注意点：安装sqoop不要将目录设在hadoop下面，否则在运行下面命令时会发生找不到jar包的问题，我估计是系 ...
分类：
其他好文 时间：
2020-02-01 21:20:23
阅读次数：
297
配置ssh 允许本机远程连接： 系统偏好设置->共享->点击选中 远程登录 【否则报错：ssh: connect to host localhost port 22: Connection refused】 允许免密ssh ssh-keygen -t rsa【一直回车到底】 cat ~/.ssh/i ...
分类：
系统相关 时间：
2020-02-01 19:46:42
阅读次数：
209
实验 1 Linux 系统的安装和常用命令 （题目） 一、实验目的 （1）掌握 Linux 虚拟机的安装方法。Spark 和 Hadoop 等大数据软件在 Linux 操作系统 上运行可以发挥最佳性能，因此，本教程中，Spark 都是在 Linux 系统中进行相关操作，同 时，下一章的 Scala ...
分类：
系统相关 时间：
2020-02-01 19:42:06
阅读次数：
139
今天我主要了解了spark的一些专业名词以及相关特点： spark简介： 最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据计算框架，可用于构建大型，低延迟的数据分析应用程序 2014年打破了hadoop保持的基准排序记录 Spark具有以下特点： 运行速度快：使用DAG ...
分类：
其他好文 时间：
2020-01-31 20:45:10
阅读次数：
107
Spark安装 参照教程安装Spark 和 Scala 参考链接：http://dblab.xmu.edu.cn/blog/1307-2/ 环境：Linux 已安装Hadoop spark官方下载地址：http://spark.apache.org/downloads.html 参照图中内容下载sp ...
分类：
其他好文 时间：
2020-01-30 23:07:30
阅读次数：
70
环境 hadoop 2.5.2 sqoop 1.4.7 异常 解决方案： 千万不要信什么 一：sqoop目录下的sqoop-1.4.4.jar拷贝到hadoop的lib目录下解决 二：把sqoop的lib目录下的sqoop的(sqoop-1.4.5.jar或sqoop-1.4.6.jar)包放到ha ...
分类：
Web程序 时间：
2020-01-30 19:20:55
阅读次数：
286
配置Hadoop环境变量：1.Windows环境变量配置 鼠标右键点击‘计算机’-‘属性’-‘高级系统设置’-‘环境变量’-单击新建如图： 2.接着找到环境变量path，将hadoop的bin目录加入到后面: 修改hadoop配置文件 （1）编辑“D:\hadoop-2.7.5\etc\hadoop ...
hadoop是什么？ 是一个分布式基础架构，主要解决海量数据存储以及数据分析计算问题。 hadoop三大发行版本？ Apache、clourdera、Hortonworks hadoop优势？ 高可靠、高扩展、高效、高容错 hadoop1.x和2.x的区别？ HDFS（hadoop distribu ...
分类：
其他好文 时间：
2020-01-30 14:29:07
阅读次数：
79
一、大数据的特点（四条） 大量、高速、多样、低价值密度 二、大数据应用场景 物流仓库、零售、旅游、商品广告推荐、保险、金融、房产、人工智能 三、大数据部门组织结构 ...
分类：
其他好文 时间：
2020-01-30 12:59:27
阅读次数：
75
一、业务架构 二、大数据全链路架构 三、主流框架 3.1 第一代大数据框架: 各自为战 3.2 第二代大数据计算框架 3.3 第三代大数据计算框架 Flink 集群启动 格式化集群 要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。 注意：首次启动HDFS时，必须对其进行格式化 ...
分类：
其他好文 时间：
2020-01-29 23:28:23
阅读次数：
139
