//**********************************//安装配置1. 修改配置文件 1.1 在conf文件夹下 touch hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL< ...
分类：
其他好文 时间：
2018-04-05 01:21:24
阅读次数：
147
Hadoop 概述和结构 1. Hadoop 构成 Hadoop 是有两部分构成一个是分布式计算框架MapReduce另一个是分布式存储框架HDFS. 2.HDSF HDFS 是一个Master-Slave结构,其有一个NameNode和多个DataNode,组成,NameNode主要记录HDSF上 ...
分类：
其他好文 时间：
2018-03-28 18:48:54
阅读次数：
189
1.大数据的概述 大数据：巨量数据、海量数据，首先在数据的量上达到一定的规模，首先是人或者计算机在不合理时间内是不能够实现的数据量。 2.特点：数据量比较大，数据类型多样化、处理速度问题 3.大数据平台分为硬件和软件 4.hadoop出现：数据的不断加大，单机的计算机无法在硬盘、网络IO，计算机的C ...
分类：
其他好文 时间：
2018-01-05 01:22:36
阅读次数：
129
1.怎么做推荐系统： 推荐系统架构：在一个公司，要做一个推荐系统，要分三层：a：第一层，offline层，线下层，对海量数据进行离线加工的，例如：mapreduce。b：第二层，nearline层，线下和在线夹着的，允许你的数据有延迟的，但是不要延迟太大，利用流式处理技术，对实时产生的数据做加工，如 ...
分类：
其他好文 时间：
2017-10-01 17:34:58
阅读次数：
182
Hadoop的环境搭建分为单机模式、伪分布式模式、完全分布式模式。 因为我的本本比较挫，所以就使用伪分布式模式。 安装JDK 一般Linux自带的Java运行环境都是Open JDK，我们到官网下载Oracle JDK（http://www.oracle.com/technetwork/java/j... ...
分类：
其他好文 时间：
2017-07-10 10:32:37
阅读次数：
227
hadoop笔记本 http://www.cnblogs.com/ggjucheng/archive/2012/04/22/2465625.html ...
分类：
其他好文 时间：
2016-12-31 13:36:51
阅读次数：
119
环境：Hadoop2.7.3 1、Benchmarking HDFS 1.1测试集群的写入 运行基准测试是检测HDFS集群是否正确安装以及表现是否符合预期的好方法。DFSIO是Hadoop自带的一个基准测试程序，可以用来分析HDFS集群的I/O能力 脚本： $HADOOP_HOME/bin/hado ...
分类：
其他好文 时间：
2016-10-18 02:09:14
阅读次数：
156
1.Hive支持行级别的查询， 数据更新，不支持多行事务； 2.Hive 有两种数据库， Derby 内置的 mysql 或其他 3. 连接MySQL 时，需要将mysql-jdbc 的驱动包放入hive的lib目录下 4. 变量和属性 四种命名空间： hivavar: 用户自定义变量空间 hive
分类：
其他好文 时间：
2016-01-30 02:04:26
阅读次数：
178
Hive的数据存储(桶表) Hive的数据存储(桶表)桶表桶表是对数据进行哈希取值，然后放到不同文件中存储。 比如说，创建三个桶，而创建桶的原则可以按照左边表中学生的名字来创建对应的桶。这样子把左边的数据存到桶里面...
分类：
其他好文 时间：
2015-12-08 21:50:17
阅读次数：
183
Hive的数据存储(分区表) Hive的数据存储(分区表)分区表Partition对应于数据库的Partition列的密集索引在Hive中，表中的一个Partition对应于表下的一个目录，所有的Partition...
分类：
其他好文 时间：
2015-12-08 18:21:01
阅读次数：
316
