实验 1 Linux 系统的安装和常用命令 （题目） 一、实验目的 （1）掌握 Linux 虚拟机的安装方法。Spark 和 Hadoop 等大数据软件在 Linux 操作系统 上运行可以发挥最佳性能，因此，本教程中，Spark 都是在 Linux 系统中进行相关操作，同 时，下一章的 Scala ...
分类：
系统相关 时间：
2020-02-01 19:42:06
阅读次数：
139
1、IDEA创建一个maven项目, 项目结构为: . ├── FileUpload.iml ├── pom.xml ├── src │ └── main │ ├── java │ │ └── shiyanlou │ │ └── struts │ │ ├── DownloadAction.java ...
分类：
Web程序 时间：
2020-02-01 12:53:30
阅读次数：
93
今天我主要了解了spark的一些专业名词以及相关特点： spark简介： 最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据计算框架，可用于构建大型，低延迟的数据分析应用程序 2014年打破了hadoop保持的基准排序记录 Spark具有以下特点： 运行速度快：使用DAG ...
分类：
其他好文 时间：
2020-01-31 20:45:10
阅读次数：
107
1.1 简介开源servlet容器java语言编写启动更快，性能更优1.2 下载镜像$docker run -d jetty$docker run -d -p 80:8080 jetty ...
分类：
Web程序 时间：
2020-01-31 14:36:59
阅读次数：
78
Spark安装 参照教程安装Spark 和 Scala 参考链接：http://dblab.xmu.edu.cn/blog/1307-2/ 环境：Linux 已安装Hadoop spark官方下载地址：http://spark.apache.org/downloads.html 参照图中内容下载sp ...
分类：
其他好文 时间：
2020-01-30 23:07:30
阅读次数：
70
环境 hadoop 2.5.2 sqoop 1.4.7 异常 解决方案： 千万不要信什么 一：sqoop目录下的sqoop-1.4.4.jar拷贝到hadoop的lib目录下解决 二：把sqoop的lib目录下的sqoop的(sqoop-1.4.5.jar或sqoop-1.4.6.jar)包放到ha ...
分类：
Web程序 时间：
2020-01-30 19:20:55
阅读次数：
286
点击 Manage ActiveMQ broker 无法显示admin界面 解决方法：修改activemq.xml 和 jetty.xml文件 把所有0.0.0.0修改为127.0.0.1 成功： 账户密码都是admin ...
分类：
其他好文 时间：
2020-01-30 17:24:45
阅读次数：
61
配置Hadoop环境变量：1.Windows环境变量配置 鼠标右键点击‘计算机’-‘属性’-‘高级系统设置’-‘环境变量’-单击新建如图： 2.接着找到环境变量path，将hadoop的bin目录加入到后面: 修改hadoop配置文件 （1）编辑“D:\hadoop-2.7.5\etc\hadoop ...
hadoop是什么？ 是一个分布式基础架构，主要解决海量数据存储以及数据分析计算问题。 hadoop三大发行版本？ Apache、clourdera、Hortonworks hadoop优势？ 高可靠、高扩展、高效、高容错 hadoop1.x和2.x的区别？ HDFS（hadoop distribu ...
分类：
其他好文 时间：
2020-01-30 14:29:07
阅读次数：
79
一、大数据的特点（四条） 大量、高速、多样、低价值密度 二、大数据应用场景 物流仓库、零售、旅游、商品广告推荐、保险、金融、房产、人工智能 三、大数据部门组织结构 ...
分类：
其他好文 时间：
2020-01-30 12:59:27
阅读次数：
75
