数据文件内容TEST DATA HEREGood to Go我们准备写一个函数，把所有字符变为小写.1.开发UDFpackage MyTestPackage;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.T...
分类：
其他好文 时间：
2015-05-14 00:56:24
阅读次数：
219
此脚本运行速度慢，主要是reduce端数据倾斜导致的，了解到dw.fct_traffic_navpage_path_detl表是用来收集用户点击数据的，那么最终购物车和下单的点击肯定极少，所以此表ordr_code字段为空和cart_prod_id字段为NULL的数据量极大，如下所示：selectordr_code,count(*)asafromdw...
分类：
数据库 时间：
2015-05-13 17:09:42
阅读次数：
205
[Author]: kwu --关于HIVE数据仓库的基本操作...
分类：
其他好文 时间：
2015-05-13 13:02:42
阅读次数：
187
数据文件内容steven:100;steven:90;steven:99^567^22ray:90;ray:98^456^30Tom:81^222^33期望最终放到数据库的数据格式如下：steven 100 567 22steven 90 567 22st...
分类：
其他好文 时间：
2015-05-13 00:29:35
阅读次数：
371
修改已经存在的表：
alter table
Alter table 语句允许用户改变现有表的结构。用户可以增加列/分区,表本身重命名。
1) 增加分区 Add
Partitions：
ALTER TABLE table_name ADD partition_spec [ LOCATION 'location1']partition_spec [ LOCATION 'location...
分类：
其他好文 时间：
2015-05-12 23:12:37
阅读次数：
451
Hive调优，让任务并行执行，描述优化流程、结论...
分类：
其他好文 时间：
2015-05-12 21:03:40
阅读次数：
265
修改已经存在的表： alter table Alter table?语句允许用户改变现有表的结构。用户可以增加列/分区,表本身重命名。 1)?增加分区?Add Partitions： ALTER TABLE table_name ADD partition_spec [ LOCATION ‘lo...
分类：
其他好文 时间：
2015-05-12 19:21:44
阅读次数：
195
修改已经存在的表：altertableAltertable语句允许用户改变现有表的结构。用户可以增加列/分区,表本身重命名。1)增加分区AddPartitions：ALTERTABLEtable_nameADDpartition_spec[LOCATION‘location1‘]partition_spec[LOCATION‘location2‘]其中partition_spec的格式为：PARTITION..
分类：
其他好文 时间：
2015-05-12 19:01:02
阅读次数：
142
修改已经存在的表：alter tableAlter table语句允许用户改变现有表的结构。用户可以增加列/分区,表本身重命名。1)增加分区Add Partitions：ALTER TABLE table_name ADD partition_spec [ LOCATION 'location1']...
分类：
其他好文 时间：
2015-05-12 18:34:07
阅读次数：
259
业务背景用户轨迹工程脚本最近经常报错，报错如下：SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
FAILED: Error in metadata: MetaException(message:java.lang.RuntimeException: commitTransaction was called bu...
分类：
其他好文 时间：
2015-05-12 15:53:00
阅读次数：
253
