昨天面对某客户域做表关联的时候发现了。有两张相同内容的表。但是表的设计结构并不相同： + + + +--+| col_name | data_type | comment |+ + + +--+| id | int | || name | string | || phone | string | | ...
分类：
其他好文 时间：
2019-01-11 15:11:13
阅读次数：
258
重点组件：HDFS：Hadoop的分布式文件存储系统MapReduce：Hadoop的分布式程序运算框架，也可以叫做一种编程模型Hive：基于Hadoop的类SQL数据仓库工具HBase：基于Hadoop的列式分布式NoSQL数据库ZooKeeper：分布式协调服务组件Mahout：基于MapReduce/Flink/Spark等分布式运算框架的机器学习算法库Oozie/Azkaban：工作流调度
分类：
其他好文 时间：
2019-01-11 14:19:16
阅读次数：
174
import shutil import time import tarfile # 将文件内容拷贝到另一个文件中 shutil.copyfileobj(open('a1', 'r'), open('random2', 'w')) # 复制文件 shutil.copyfile('a1', 'a2')... ...
分类：
其他好文 时间：
2019-01-10 21:47:03
阅读次数：
213
背景介绍 使用SQL 引擎一词是有点随意的。例如Hive 不是一个引擎，它的框架使用MapReduce、TeZ 或者Spark 引擎去执行查询，而且它并不运行SQL，而是HiveQL，一种类似SQL 的语言，非常接近SQL。“SQL-in-Hadoop” 也不适用，虽然Hive 和Impala 主要 ...
分类：
数据库 时间：
2019-01-10 10:57:21
阅读次数：
251
用窗口函数可以解决这个问题： 例：select row_number() over(order by user_id desc) ,tab.* from dws_user_visit_month1 as tab limit 20; 结果： 其实要是单纯想加一个自增的行号，没有顺序要去的话 over( ...
分类：
数据库 时间：
2019-01-09 21:37:34
阅读次数：
663
centos6 yum 安装memcached - 像块石头 - 博客园http://www.cnblogs.com/rockee/archive/2012/08/01/2619160.html ...
分类：
系统相关 时间：
2019-01-09 20:32:05
阅读次数：
233
在执行spark on hive 的时候在 sql.show()处报错 ： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer 报错详情： 说明：程序是在idea上本地 ...
分类：
编程语言 时间：
2019-01-09 18:40:10
阅读次数：
2288
构建数据仓库(Slave1)1、解压数据库tar-zxvfapache-hive-1.2.2-bin.tar.gz/usr/local/cd/usr/local/mvapache-hive-1.2.2hive2、为hive添加环境变量编辑/etc/profile文件，增加hive相关的环境变量配置profile文件编辑完成后，执行下面命令，让配置生效，命令是3、配置hive-site.xmlhiv
分类：
其他好文 时间：
2019-01-09 17:27:30
阅读次数：
169
当我们出现这种情况时 FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set ...
分类：
其他好文 时间：
2019-01-08 21:58:23
阅读次数：
1877
看过的sonar比较好的在线参考资料（自认为）： 1.《使用 Sonar 进行代码质量管理》》，地址：http://www.ibm.com/developerworks/cn/java/j-lo-sonar/ 2.《sonar环境的搭建》，地址：http://blog.163.com/luowei5 ...
分类：
其他好文 时间：
2019-01-08 19:36:47
阅读次数：
158
