1、Oracle8/8i/9i数据库（thin模式） Class.forName(“oracle.jdbc.driver.OracleDriver”).newInstance(); String url=”jdbc:oracle:thin:@localhost :1521:orcl”; //orcl为数据库的SID String user=”test”;...
分类：
数据库 时间：
2014-07-21 10:37:04
阅读次数：
291
12.4 listPagedPerson.jsp My JSP 'listPagedPerson.jsp' starting page --> ...
分类：
数据库 时间：
2014-07-21 10:04:05
阅读次数：
359
直接使用JDBC一个非常普遍的问题就是动态SQL。使用参数值、参数本身和数据列都是动态SQL，通常是非常困难的。典型的解决办法就是用上一堆的IF-ELSE条件语句和一连串的字符串连接。对于这个问题，Ibatis提供了一套标准的相对比较清晰的方法来解决一个问题，这里有个简单的例子：上面的例子中，根据参...
分类：
数据库 时间：
2014-07-21 10:01:04
阅读次数：
285
创建表：drop table tcreate table if not exists t (t string) partitioned by (log_date string) row format delimited fields terminated by '\t' lines terminat...
分类：
其他好文 时间：
2014-07-21 08:31:39
阅读次数：
281
常见案例一：空值产生的数据倾斜日志表有一部分的user_id为空或者是0的情况，导致在用user_id进行hash分桶时，会将日志由user_id为0或者为空的数据分到一个reduce上，导致数据倾斜；如：访户未登录时，日志中的user_id为空，用user_id和用户表的user_id进行关联的时...
分类：
其他好文 时间：
2014-07-21 00:25:23
阅读次数：
305
数据倾斜：数据分布不均匀，造成数据大量的集中到一点，造成数据热点；由于数据并不是平均分配的，会导致各个节点上处理的数据量是不均衡的，所以数据倾斜是无法避免的；造成数据倾斜的最根本原因：key分发不均匀造成的；常见的数据倾斜的症状1) Map阶段快，reduce阶段非常慢；2) 某些map很快，某些m...
分类：
其他好文 时间：
2014-07-20 22:18:56
阅读次数：
232
当该字段存在大量值为null或空的记录，容易发生数据倾斜；解决思路：count distinct时，将值为空的情况单独处理，如果是计算count distinct，可以不用处理，直接过滤，在最后结果中加1；如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行...
分类：
其他好文 时间：
2014-07-20 22:18:35
阅读次数：
1404
count(distinct key)案例explain select count(distinct session_id) from trackinfo where ds=' 2013-07-21' ;STAGE DEPENDENCIES: Stage-1 is a root stage St.....
分类：
其他好文 时间：
2014-07-20 22:16:56
阅读次数：
347
新建一 java 项目 com.mysql.jdbc.Driver jdbc:mysql://10.170.0.47:3306/test root root org.hibernate.dialect.MySQLDialect 配之为上public cla...
分类：
系统相关 时间：
2014-07-20 22:02:07
阅读次数：
235
12.6 searchPerson.jsp My JSP 'searchPerson.jsp' starting page --> ...
分类：
数据库 时间：
2014-07-20 21:33:17
阅读次数：
335
