码迷,mamicode.com
首页 >  
搜索关键字:hive    ( 4149个结果
sqoop安装与简单实用
一,sqoop安装 二、命令介绍 三、数据导入 1.数据导入到HDFS 2.数据导入到HIVE 先将数据文件导入到HDFS上,产生一个临时文件 成功后将数据上传到HIVE,成功则删除hdfs上的临时文件 1.导入至HDFS ->临时文件的路径:当前执行sqoop命令的家目录 -> 目录名称:不指定自 ...
分类:其他好文   时间:2018-09-18 22:46:03    阅读次数:6
maven 手工装入本地包11
<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-serde --><dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-serde</artifact ...
分类:其他好文   时间:2018-09-18 16:02:58    阅读次数:7
模式设计
按天划分表的模式 一天一张表如果用户登录日志 login_20180101,login_20180102 在hive中可以使用按天分区,这样查询效率高,而且比按天分表看起来更清新明了 hive> create table loginfo(userid int,logintime timestamp) ...
分类:其他好文   时间:2018-09-18 14:24:10    阅读次数:10
hive 索引
hive 有限的支持索引,不支持主键外键,可以对表添加索引,也可以为某个分区添加索引.维护索引也要额外的存储空间和计算资源。 创建索引需要指定索引处理器 如 as 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler' in tab ...
分类:其他好文   时间:2018-09-18 11:52:19    阅读次数:10
高性能的序列化与反序列化:kryo的简单使用
前言:kryo是个高效的java序列化/反序列化库,目前Twitter、yahoo、Apache、strom等等在使用该技术,比如Apache的spark、hive等大数据领域用的较多。 为什么使用kryo而不是其他? 因为性能足够好。比kyro更高效的序列化库就只有google的protobuf了 ...
分类:其他好文   时间:2018-09-18 11:02:13    阅读次数:7
网站一定要备案吗?怎么备案?
我们都知道目前在国内购买的空间服务器都需要备案,不然无法打开,目前国内的主机空间基本上大家都是到阿里云购买,所以下面的文章会一阿里云为例来说明。一,网站是不是一定要备案?这个不是必须的,如果你的空间是国外的,当然就不需要备案了,关于国外的空间推荐,可以阅读这篇文章。二,阿里云空间备案流程—线上备案1,https://beian.aliyun.com,点击进入2,如果是个人备案的话,只需要准备一张身
分类:Web程序   时间:2018-09-17 22:58:13    阅读次数:9
HBase相对Hive查询速度快的对比
首先Hive的底层首先是MR,是属于批处理处理时间相对较长,不属于实时读写。在其架构上HBase和Hive有很大的区别. 架构介绍: Hive架构 –(1)用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本。Client是Hive ...
分类:其他好文   时间:2018-09-17 17:44:50    阅读次数:8
大数据学习路线(自己制定,从零开始)
大数据已经火了很久了,一直想了解它学习它结果没时间,了解了一些资料,结合我自己的情况,整理了一个学习路线,。 学习路线 Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeepe ...
分类:其他好文   时间:2018-09-17 13:34:04    阅读次数:16
Hive基础
## Hive基础 ### 1、介绍 Hive是OLAP(online analyze process,在线分析处理)。通常称为数据仓库,简称数仓。内置很多分析函数,可进行海量数据的在线分析处理。hive构建在hadoop之上,使用hdfs作为进行存储,计算过程采用的是Mapreduce完成,本质上... ...
分类:其他好文   时间:2018-09-16 16:12:03    阅读次数:5
MySQL操作
Windows服务 连接与断开服务器 数据库操作 表的操作 数据操作 字符集编码 数据类型(列类型) 选择类型 列属性(列约束) 1. PRIMARY 主键 能唯一标识记录的字段,可以作为主键。 一个表只能有一个主键。 主键具有唯一性。 声明字段时,用 primary key 标识。 也可以在字段列 ...
分类:数据库   时间:2018-09-16 16:05:01    阅读次数:9
4149条   1 2 3 4 ... 415 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!