概念 海量数据的数据统计平台,将hql翻译为mapreduce程序。 优点 简单;适用于对实时性要求不严的场合;适合处理大数据 缺点 无法表达迭代式计算; 不擅长数据挖掘; 效率比较低。 本质(相当于hadoop的一个客户端) hive的数据存储在hdfs; hive的数据处理在mapreduce; ...
分类:
其他好文 时间:
2019-07-13 21:29:55
阅读次数:
138
Hadoop与Spark的关系: mapReduce和spark的内存结构: spark替代hive的查询引擎 ...
分类:
其他好文 时间:
2019-07-13 13:41:35
阅读次数:
105
返回类型函数名描述 int ascii(string str) 返回str第一个字符串的数值 string base64(binary bin) 将二进制参数转换为base64字符串 string concat(string|binary A, string|binary B...) 返回将A和B按 ...
分类:
其他好文 时间:
2019-07-11 17:16:23
阅读次数:
308
Oracle启动时报如下错误:ORA 03113: end of file on communication channel 解决方案如下:1、查看orcle启动日志,确定具体是什么原因引起的错误。 cd $ORACLE_HOME/diag/rdbms/实例名/实例名/trac ...
分类:
其他好文 时间:
2019-07-11 14:14:34
阅读次数:
76
史上最全的微信小程序源码模版开发大全 http://www.chaixiao.com/archives/2104 6个最优秀的微信小程序UI组件库 https://www.jianshu.com/p/4182f4a18cb6 ...
分类:
微信 时间:
2019-07-11 11:10:34
阅读次数:
161
4.2、使用oozie调度我们的hive 第一步:拷贝hive的案例模板 cd /export/servers/oozie-4.1.0-cdh5.14.0 cp -ra examples/apps/hive2/ oozie_works/ cd /export/servers/oozie-4.1.0- ...
分类:
其他好文 时间:
2019-07-10 23:02:41
阅读次数:
131
命令模式 模式说明 将请求封装成对象,从而使可用不同的请求对客户进行参数化;对请求排队或记录请求日志,以及支持可撤消的操作。 模式结构图 程序示例 说明:调用者是遥控器,接受者是电视 代码: class TV(object): def open(self): print 'turn on tv' d ...
分类:
其他好文 时间:
2019-07-09 11:02:40
阅读次数:
135
# hive # show databases; hive> show databases;FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: ...
分类:
数据库 时间:
2019-07-08 19:12:26
阅读次数:
136
比如:A,B两表,找到ID字段中,存在A表,但不存在B表的数据。 A表共13w,去重后3w, B表共2W,且有索引方法一not in,易理解,效率低,时间:1.395sselect distinct A.id from A where A.id not in(select id from B)方法二... ...
分类:
其他好文 时间:
2019-07-07 14:16:43
阅读次数:
114