bug集锦1. hadoop平台datanode无法启动：原因： 由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一，通过查看hadoop/logs中的datanode日志文件查看到此错误。解决方....
分类：
其他好文 时间：
2014-10-02 23:55:33
阅读次数：
205
业务模型： 在关系型数据库中有张很大的表，被设计成奇偶库存储，每个库100张一模一样的表，每张表存储1000W，字段切换到下一个表。现需要同步这个数据到hive中（hdfs），循环抽取这些数据。如果是抽取增量的带上增量字段（每天增量数据存储在哪个表，奇数库还是偶数库是不知道的）。...
分类：
其他好文 时间：
2014-10-01 09:25:40
阅读次数：
367
需求
在推荐系统场景中，如果基础行为数据太少，或者过于稀疏，通过推荐算法计算得出的推荐结果很可能达不到要求的数量。
比如，希望针对每个item或user推荐20个item，但是通过计算只得到8个，剩下的12个就需要补全。
欢迎转载，请注明出处：
策略
数据补全的具体策略是：
补全时机：在挖掘计算结束后，挖掘结果导入HBase（最终web系...
分类：
数据库 时间：
2014-09-29 21:15:51
阅读次数：
295
最近微博有一个任务需要使用日曝光表做统计，发现这个任务很容易在stage1卡在reduce100%阶段不动，发邮件过来让帮找一下问题或者优化一下，和同事一起分析了一下原因，以下是分析过程：...
分类：
其他好文 时间：
2014-09-29 14:09:21
阅读次数：
315
********************************************hive***********************************************hive.cli.print.current.db 是否在命令行提示当前数据库，默认为FALSE
分类：
其他好文 时间：
2014-09-29 10:48:07
阅读次数：
146
之前遇到的一个droptable的小问题，默认任何人都可以有使用dropdb.table的权限这是一个bug,bugid:https://issues.apache.org/jira/browse/HIVE-2817解决方法：可以通过设置sethive.exec.drop.ignorenonexistent=false（DonotreportanerrorifDROPTABLE/VIEWspecifiesanon-existe..
分类：
其他好文 时间：
2014-09-28 03:24:11
阅读次数：
223
hive简单概念 hive是一种基于Hadoop的数据仓库的处理工具，目前只支持简单的类似传统关系型数据库的SQL查询，修改操作功能，他可以直接将SQL转化为MapReduce程序，开发人员不必一定要学会写MR程序，提高了开发效率...
分类：
其他好文 时间：
2014-09-26 19:40:28
阅读次数：
232
引言
HIVE的操作接口除了常用的CLI之外，还有图形界面HWI，今天尝试了下HWI，特此记录供以后参考。
过程
apache-hive-0.13.1-bin.tar.gz 的 lib 目录默认不包含 hive-hwi-0.13.1.war，我们需要到源码包中获取HWI。
（1）将源码包 apache-hive-0.13.1-src.tar.gz 下载到本地...
分类：
其他好文 时间：
2014-09-26 18:58:48
阅读次数：
231
Job Submission failed with exception 'java.io.IOException(Failed to run job : org.apache.hadoop.security.AccessControlException: User pms cannot submit applications to queue root.default)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive....
分类：
编程语言 时间：
2014-09-25 15:56:19
阅读次数：
453
hive和hbase高版本集成，错误分析和解决...
分类：
其他好文 时间：
2014-09-22 20:04:03
阅读次数：
229
