hive执行过程中报错，抓重点（黄色）： 大概是执行mapreduce的时候的错误： 查看了下mapreduce确实是执行了， 拉取mr错误日志： 看下黄色部分，可知是hbase的对应实体类错误。 原因：是修改了hbase数据字典表中的类型 -> 没有更新hive的jar包。 ...
分类：
Web程序 时间：
2019-02-01 14:54:40
阅读次数：
1105
最近发现了一个很好用的工具streamsets工具。我将oracle数据库当中的数据增量的导入到hive当中。导入是按照唯一的主键ID将数据导入进来。 出现的问题如下： （1）数据精度的问题： 因为表是提前创建好的，我将id字段定义为int类型，但是在oracle数据库当中的数据类型是number类 ...
分类：
其他好文 时间：
2019-01-31 17:09:51
阅读次数：
610
之前聊过java内存模型，还有一个对象模型，都是JVM特有的概念。 ...
分类：
编程语言 时间：
2019-01-30 01:29:52
阅读次数：
165
创建parquet table :create table mytable(a int,b int) STORED AS PARQUET;创建带压缩的parquet table:create table mytable(a int,b int) STORED AS PARQUET TBLPROPER ...
分类：
其他好文 时间：
2019-01-29 20:28:59
阅读次数：
501
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 apache-hive-3.1.1 参考：官网hive操作手册 一、DDL 1、数据类型 2、数据库的创建、删除、修改； 3、表的创建 ...
分类：
数据库 时间：
2019-01-29 18:00:39
阅读次数：
190
启动hive报错：MissingHiveExecutionJar:/home/hadoop/local/hbase-2.1.0/lib/hive-exec-*.jar相关jar包下载链接http://www.java2s.com/Code/Jar/h/Downloadhiveexec080jar.htm启动hive保错MissingHiveMetaStoreJar检查$PATH是否正常，本次保错是
分类：
编程语言 时间：
2019-01-28 21:45:39
阅读次数：
393
翻译自官网flume1.8用户指南，原文地址：Flume 1.8.0 User Guide 一、 介绍 1. 概述 Apache Flume 是收集、汇总和移动大数据量的不同数据源到集中的数据仓库的分布式的、可靠的、可用的系统。 使用flume 不仅仅可以做日志收集。自从数据源可自定义，flume可 ...
分类：
Web程序 时间：
2019-01-28 17:41:31
阅读次数：
262
（1）定义 Unix时间戳(Unix timestamp)，或称Unix时间(Unix time)、POSIX时间(POSIX time)，是一种时间表示方式，定义为从格林威治时间1970年01月01日00时00分00秒（北京时间1970年01月01日08时00分00秒）起至现在的总秒数。Unix时 ...
分类：
其他好文 时间：
2019-01-28 15:16:16
阅读次数：
235
代码如下： dataFrame.createOrReplaceTempView("view_page_utm")val sql = s""" |insert overwrite table data_lake_v1.urchin_tracking_module PARTITION(cd='$date ...
分类：
其他好文 时间：
2019-01-26 21:38:53
阅读次数：
222
Anaconda 2 官方：https://www.anaconda.com/ 一 简介 The Most Popular Python Data Science Platform Anaconda® is a package manager, an environment manager, a P ...
分类：
编程语言 时间：
2019-01-26 19:36:32
阅读次数：
182
