Binder Proxy技术方案
作者 低端码农
时间 2014.08.23
0x0
看到有多朋友尝试通过hook系统进程system_process的ioctl，以企图截获系统的IPC通讯。这个方案的弊端是太偏低层了，当截获成功了之后，要解析其中的通讯数据是比较麻烦了. 另外，其中还涉及一堆兼容性的问题，由于不同的Android固件版本，有好些Parcelable结构的字段是有所...
分类：
其他好文 时间：
2014-08-23 12:45:30
阅读次数：
271
今天有个etl开发在droppartition的时候遇到了问题，因为是使用了自己的账号，而hdfs中对应partition的文件属主是hdfs的，在删除时会因为权限问题报错，切换用户为hdfs，做droppartition的错误，还是报错，看来没这么简单。查看表的hdfs属性，目录的属主不是hdfs且目录对hdfs没..
分类：
其他好文 时间：
2014-08-23 02:29:00
阅读次数：
231
## RCFile 之前听说 RCFile 在读取数据时可以跳过不需要的列，不需要将一整行读入然后选择所需字段，所以在 Hive 中执行 `select a, b from tableA where c = 1` 这样的操作就相对比较高效。为了满足好奇心，找了...
分类：
其他好文 时间：
2014-08-22 22:39:30
阅读次数：
315
问题：有如下数据文件 city.txt （id， city， value）cat city.txt1 wh 5002 bj 6003 wh 1004 sh 4005 wh 2006 bj 1007 sh 2008 bj 3009 sh 900需要按 city 分组聚合，然后从每组数据中取出前两条va...
分类：
其他好文 时间：
2014-08-22 22:25:40
阅读次数：
455
HDU 1698 Just a Hook (线段树区间更新）...
分类：
其他好文 时间：
2014-08-22 16:29:49
阅读次数：
176
regex insert join group cli...
分类：
其他好文 时间：
2014-08-22 14:32:28
阅读次数：
221
区间更新基础。。不说了，也是照着notonlysuccess的博客撸的。#include #include #include #include #include #include #include #include #include #include #include #include usin.....
分类：
其他好文 时间：
2014-08-22 00:06:16
阅读次数：
160
Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑，就是些表的定义等，也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉，转换成本低，类似作用的Pig就...
分类：
其他好文 时间：
2014-08-21 19:27:44
阅读次数：
148
需求
将Oracle中的业务基础表增量数据导入Hive中，与当前的全量表合并为最新的全量表。
设计
涉及的三张表：
全量表：保存了截止上一次同步时间的全量基础数据表
增量表：增量临时表
更新后的全量表：更新后的全量数据表
步骤：
通过Sqoop将Oracle中的表导入Hive，模拟全量表和增量表
通过Hive将“全量...
分类：
数据库 时间：
2014-08-21 19:22:14
阅读次数：
455
Shell脚本执行hive语句 | hive以日期建立分区表 | linux schedule程序...
分类：
系统相关 时间：
2014-08-21 13:25:44
阅读次数：
350
