使用pipework工具。 前提：每个Container所做的工作现在还很少，可以不用save、commit。 为了便于通信，自定义一个网桥(192.168.1.180/24)，使之IP与宿主主机IP在同一网段内。 bridge模式 bridge模式是Docker默认的网络设置，此模式会为每一个容器 ...
分类：
其他好文 时间：
2018-12-19 10:13:19
阅读次数：
186
MySQL安装 这个安装很简单，是在线安装，只需要按顺序执行一下几个命令就ok了。（1）sudo apt-get install mysql-server（2）sudo apt-get install mysql-client（3）sudo apt-get install libmysqlclien ...
分类：
其他好文 时间：
2018-12-18 19:31:29
阅读次数：
143
spark 2.1.1 spark在写数据到hive外部表（底层数据在hbase中）时会报错 Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot ...
分类：
Web程序 时间：
2018-12-18 17:12:14
阅读次数：
1201
Ce sont les petits pointeurs laser les plus mignons. Ce sont plus petits et beaucoup plus faciles à ranger dans des endroits où je pourrais en avoir b ...
分类：
其他好文 时间：
2018-12-18 13:59:14
阅读次数：
152
Spark版本为2.1.0，Hadoop版本为2.7.1，元数据存储在mysql中，异常信息如下： 报错提示，hive metastore出现了多个版本，去hive的元数据库查看表VERSION，发现多了一条记录 解决过程 查资料 google了一些资料，网上也有人提过，如HIVE-9543，网上大 ...
分类：
数据库 时间：
2018-12-17 22:38:15
阅读次数：
299
一. Hive下载 1. Hive官网地址 http://hive.apache.org/ 2. 文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3. 下载地址 http://archive.apache. ...
分类：
数据库 时间：
2018-12-17 20:20:05
阅读次数：
252
一. 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL(Hive Query Language)转化成MapReduce程序 1）Hive处 ...
分类：
其他好文 时间：
2018-12-17 18:57:04
阅读次数：
217
中心思想，设置kerberos环境变量时，发现JDK源码当中的一个问题，故描述如下。 在平时的使用中，如果hadoop集群配置kerberos认证的话，使用java访问hdfs或者hive时，需要先进行认证登陆，之后才可以访问。登陆代码大致如下： 设置krb5.conf和core-site.xml、 ...
分类：
其他好文 时间：
2018-12-15 19:55:05
阅读次数：
344
初始化derby失败： [root@bigdata111 apache-hive-2.3.0-bin]# schematool -dbType derby -initSchemaSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Fou ...
分类：
其他好文 时间：
2018-12-14 22:46:14
阅读次数：
278
#!/bin/bash #################################### code review heguoxiu@berchina.com 20170504# System Name : 大数据智慧分析平台# Author : heguoxiu# Description : ...
分类：
数据库 时间：
2018-12-14 20:00:18
阅读次数：
166
