环境如下： Hadoop 2.6.0以上 java JDK 1.7以上 Spark 3.0.0-preview2 一、Scala独立应用编程 二、java独立应用编程 1、安装maven ubuntu中没有自带安装maven，需要手动安装maven。可以访问maven官方下载自己下载。这里直接给出a ...
分类：
编程语言 时间：
2020-02-14 10:43:07
阅读次数：
103
查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 数据存储位置。Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库 ...
分类：
其他好文 时间：
2020-02-13 22:35:19
阅读次数：
73
环境如下： Hadoop 2.6.0以上 java JDK 1.7以上 Spark 3.0.0-preview2 一、Scala独立应用编程 1、安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，这里简单介绍sbt的安装过程，感兴趣的读者可以参考官网资料了解更多关于sbt的内 ...
分类：
其他好文 时间：
2020-02-13 22:31:48
阅读次数：
103
参考原文：http://blog.csdn.net/xlgen157387/article/details/53230138 一、网站应用背景 开发一个网站的应用程序，当用户规模比较小的时候，使用简单的：一台应用服务器+一台数据库服务器+一台文件服务器，这样的话完全可以解决一部分问题，也可以通过堆硬 ...
分类：
其他好文 时间：
2020-02-13 21:21:26
阅读次数：
84
一：安装JDK hadoop2.x最低jdk版本要求是：jdk1.7 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u80-o ...
分类：
其他好文 时间：
2020-02-13 21:03:47
阅读次数：
73
Hadoop CDH版本的安装:参考文档http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/ 下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 安装的版本为：hadoop-2.6.0-cdh ...
分类：
其他好文 时间：
2020-02-13 19:31:10
阅读次数：
79
摘要：Hadoop是一个由Apache基金会所开发的分布式基础架构，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算，特点是：高可靠性，高扩展性，高效性，高容错性。l ...
分类：
其他好文 时间：
2020-02-13 10:12:16
阅读次数：
64
基础概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十 ...
分类：
其他好文 时间：
2020-02-12 22:01:50
阅读次数：
67
一：设置静态IP （一）进入配置页面 （二）设置手动配置，IP，子网掩码，网关，DNS解析 1.使用ifconfig查看IP网络地址和子网掩码 网络地址192.168.58.X，子网掩码255.255.255.0 2.使用netstat -rn查看网关信息 （三）配置静态IP （四）网络服务重新启动 ...
分类：
系统相关 时间：
2020-02-12 18:43:35
阅读次数：
98
Sqoop概述 Sqoop是一款开源的工具，主要用于在Hadoop生态系统（Hadoop、Hive等)与传统的数据库(MySQL、Oracle等)间进行数据的传递，可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Sqoop导入原理： 在导入 ...
分类：
其他好文 时间：
2020-02-12 14:33:53
阅读次数：
82
