记性不好: Could not get lock /var/lib/dpkg/lock 锁定的文件会阻止 Linux 系统中某些文件或者数据的访问，这个概念也存在于 Windows 或者其他的操作系统中。 一旦你运行了 apt-get 或者 apt 命令，锁定文件将会创建于 /var/lib/apt ...
分类：
其他好文 时间：
2019-08-21 11:30:07
阅读次数：
77
为能更好地服务用户，DataPipeline最新版本支持： 1. 一个数据源数据同时分发（实时或定时）到多个目的地； 2. 提升Hive的使用场景： 写入Hive目的地时，支持选择任意目标表字段作为分区字段； 可将Hive作为数据源定时分发到多个目的地。 写入Hive目的地时，支持选择任意目标表字段 ...
一、安装Hive 1.1 下载并解压 下载所需版本的 Hive，这里我下载版本为 。下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 1.2 配置环境变量 添加环境变量： 使得配置的环境变量立即生效： 1.3 修改配置 1. hive env.sh 进入安装目 ...
分类：
系统相关 时间：
2019-08-21 10:02:27
阅读次数：
130
一、Hive CLI 1.1 Help 使用 或者 命令可以查看所有命令的帮助，显示如下： 1.2 交互式命令行 直接使用 命令，不加任何参数，即可进入交互式命令行。 1.3 执行SQL命令 在不进入交互式命令行的情况下，可以使用 执行 SQL 命令。 1.4 执行SQL脚本 用于执行的 sql 脚 ...
分类：
其他好文 时间：
2019-08-21 09:47:24
阅读次数：
451
一、Database 1.1 查看数据列表 1.2 使用数据库 1.3 新建数据库 语法： 示例： 1.4 查看数据库信息 语法： 示例： 1.5 删除数据库 语法： 默认行为是 RESTRICT，如果数据库中存在表则删除失败。要想删除库及其中的表，可以使用 CASCADE 级联删除。 示例： 二、 ...
分类：
其他好文 时间：
2019-08-21 09:36:55
阅读次数：
127
Hive注释中文乱码 创建表的时候，comment说明字段包含中文，表成功创建之后，中文说明显示乱码 1.进入数据库Metastore中执行以下5条SQL语句 （1）修改表字段注释和表注释 （2）修改分区字段注解 （3）修改索引注解 修改metastore连接的URL 验证 ...
分类：
其他好文 时间：
2019-08-20 23:47:38
阅读次数：
109
Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口 ...
分类：
其他好文 时间：
2019-08-20 11:09:39
阅读次数：
62
Ambari简介 Ambari概述 Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等； ...
分类：
其他好文 时间：
2019-08-20 10:40:13
阅读次数：
119
为什么要有HBase？ Hadoop生态圈中有了Hive，Hive可以像关系型数据库那样操作数据，那么为什么还要有HBase？ 首先HBase是一个非关系型数据库，是用于存储数据的，Hive是用于处理数据的。 Hive操作数据时虽然可以像关系型数据库那样操作，但Hive只是一个操作工具，而非一个针对 ...
分类：
其他好文 时间：
2019-08-20 01:19:17
阅读次数：
62
为什么要有Sqoop？ 将数据从别的数据库导到Hadoop、Hbase或Hive太麻烦了。 什么是Sqoop？ Sqoop就是Hadoop、Hive、HBase等数据仓库与数据库之间传输数据的工具。，就是将导入(输入)和导出(输出)的命令映射成MR程序。 导入：MySQL等数据库数据导入到HDFS、 ...
分类：
其他好文 时间：
2019-08-20 01:07:48
阅读次数：
88
