上周在项目开发中遇到一个奇怪的问题,某个c++模块解压完的字节流数据传递给lua后,lua在做基于字节流的反序列化时始终出错,刚开始以为是不是c++模块读取出来的字节流有问题,但是debug发现,c++拿到的字节流确实是正...
分类：
其他好文 时间：
2014-07-22 09:06:06
阅读次数：
528
Hive不支持where子句中的子查询，SQL常用的exist in子句需要改写。这一改写相对简单。考虑以下SQL查询语句：SELECT a.key, a.value FROM a WHERE a.key in (SELECT b.key FROM B);改写成：SELECT a.key, a.va...
分类：
数据库 时间：
2014-07-22 08:07:35
阅读次数：
1966
关键字情形后果join其中一个表较小，但key集中分发到某一个或几个reduce上的数据远高于平均值大表与大表关联，但是分桶的判断字段0值或空值过多这些空值都由一个reduce处理，非常慢group byGroup by维度过小，某值的数量过多处理某值的reduce非常耗时count distinc...
分类：
其他好文 时间：
2014-07-22 08:07:33
阅读次数：
180
本文主要讲述在开发过程中，提高工作效率而进行的IOS-Jenkins的持续集成。
背景
平时我们开发完成IOS项目，需要打包给测试人员进行测试。其中的过程需要重复进行：修改配置项--编译---连接设备--运行打包--debug进设备中--然后交给等待的测试人员。现有成熟的持续集成Jenkins解决方案，并且该方案也提供了Xcode插件的支持，可以讲上述过程封装成一键解决方案。
我实现的是jenkins执行IOS的job，build工程，签名打ipa包，上传到FTP服务器，放到tomcat下，提供http...
分类：
移动开发 时间：
2014-07-21 11:33:14
阅读次数：
611
创建表：drop table tcreate table if not exists t (t string) partitioned by (log_date string) row format delimited fields terminated by '\t' lines terminat...
分类：
其他好文 时间：
2014-07-21 08:31:39
阅读次数：
281
常见案例一：空值产生的数据倾斜日志表有一部分的user_id为空或者是0的情况，导致在用user_id进行hash分桶时，会将日志由user_id为0或者为空的数据分到一个reduce上，导致数据倾斜；如：访户未登录时，日志中的user_id为空，用user_id和用户表的user_id进行关联的时...
分类：
其他好文 时间：
2014-07-21 00:25:23
阅读次数：
305
调试技术与异常（错误）处理(1)转载自52PK游戏论坛跟踪与中间过程输出也许一个开发人员一半以上的时间都是在面对错误，所以好的调试/查错方法（工具）会减轻我们工作的负担，也可以让枯燥的DEBUG过程得以缩短。VC开 发环境所提供的调试环境是很优秀的，我们可以运用单步运行，设置断点的方法来查找问题所在...
分类：
其他好文 时间：
2014-07-20 22:27:59
阅读次数：
317
数据倾斜：数据分布不均匀，造成数据大量的集中到一点，造成数据热点；由于数据并不是平均分配的，会导致各个节点上处理的数据量是不均衡的，所以数据倾斜是无法避免的；造成数据倾斜的最根本原因：key分发不均匀造成的；常见的数据倾斜的症状1) Map阶段快，reduce阶段非常慢；2) 某些map很快，某些m...
分类：
其他好文 时间：
2014-07-20 22:18:56
阅读次数：
232
当该字段存在大量值为null或空的记录，容易发生数据倾斜；解决思路：count distinct时，将值为空的情况单独处理，如果是计算count distinct，可以不用处理，直接过滤，在最后结果中加1；如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行...
分类：
其他好文 时间：
2014-07-20 22:18:35
阅读次数：
1404
count(distinct key)案例explain select count(distinct session_id) from trackinfo where ds=' 2013-07-21' ;STAGE DEPENDENCIES: Stage-1 is a root stage St.....
分类：
其他好文 时间：
2014-07-20 22:16:56
阅读次数：
347
