配置ssh 允许本机远程连接： 系统偏好设置->共享->点击选中 远程登录 【否则报错：ssh: connect to host localhost port 22: Connection refused】 允许免密ssh ssh-keygen -t rsa【一直回车到底】 cat ~/.ssh/i ...
分类：
系统相关 时间：
2020-02-01 19:46:42
阅读次数：
209
实验 1 Linux 系统的安装和常用命令 （题目） 一、实验目的 （1）掌握 Linux 虚拟机的安装方法。Spark 和 Hadoop 等大数据软件在 Linux 操作系统 上运行可以发挥最佳性能，因此，本教程中，Spark 都是在 Linux 系统中进行相关操作，同 时，下一章的 Scala ...
分类：
系统相关 时间：
2020-02-01 19:42:06
阅读次数：
139
Hbase 创建表 插入数据 创建表 public static void main(String[] args) throws IOException { // Instantiating configuration class 初始化配置文件 Configuration con = HBaseC ...
分类：
其他好文 时间：
2020-02-01 12:44:11
阅读次数：
90
今天我主要了解了spark的一些专业名词以及相关特点： spark简介： 最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据计算框架，可用于构建大型，低延迟的数据分析应用程序 2014年打破了hadoop保持的基准排序记录 Spark具有以下特点： 运行速度快：使用DAG ...
分类：
其他好文 时间：
2020-01-31 20:45:10
阅读次数：
107
Spark安装 参照教程安装Spark 和 Scala 参考链接：http://dblab.xmu.edu.cn/blog/1307-2/ 环境：Linux 已安装Hadoop spark官方下载地址：http://spark.apache.org/downloads.html 参照图中内容下载sp ...
分类：
其他好文 时间：
2020-01-30 23:07:30
阅读次数：
70
一、Hbase 简介 hdfs 是分布式文件系统, 只支持在文件层面的增、删除、改（需要把文件下载下来，改完，再上传上去）、查 hbase 是支持海量数据存储的NoSql数据库，基于hdfs的，支持数据的增、删、改、查，支持随机写数据（改指定的某一条数据） hbase 查询数据只能根据rowkey进 ...
分类：
其他好文 时间：
2020-01-30 19:24:15
阅读次数：
78
环境 hadoop 2.5.2 sqoop 1.4.7 异常 解决方案： 千万不要信什么 一：sqoop目录下的sqoop-1.4.4.jar拷贝到hadoop的lib目录下解决 二：把sqoop的lib目录下的sqoop的(sqoop-1.4.5.jar或sqoop-1.4.6.jar)包放到ha ...
分类：
Web程序 时间：
2020-01-30 19:20:55
阅读次数：
286
配置Hadoop环境变量：1.Windows环境变量配置 鼠标右键点击‘计算机’-‘属性’-‘高级系统设置’-‘环境变量’-单击新建如图： 2.接着找到环境变量path，将hadoop的bin目录加入到后面: 修改hadoop配置文件 （1）编辑“D:\hadoop-2.7.5\etc\hadoop ...
hadoop是什么？ 是一个分布式基础架构，主要解决海量数据存储以及数据分析计算问题。 hadoop三大发行版本？ Apache、clourdera、Hortonworks hadoop优势？ 高可靠、高扩展、高效、高容错 hadoop1.x和2.x的区别？ HDFS（hadoop distribu ...
分类：
其他好文 时间：
2020-01-30 14:29:07
阅读次数：
79
一、大数据的特点（四条） 大量、高速、多样、低价值密度 二、大数据应用场景 物流仓库、零售、旅游、商品广告推荐、保险、金融、房产、人工智能 三、大数据部门组织结构 ...
分类：
其他好文 时间：
2020-01-30 12:59:27
阅读次数：
75
