近年来，随着Internet/Intranet建网技术的飞速发展和在世界范围内的迅速普及，计算机
应用程序已从传统的桌面应用转到Web应用。基于B/S（Browser/Server）架构的3层开发模式逐渐取代C/S（Client/Server）架构的开发模式，成为开发企业级应用和电子商务普遍采用的技术。
在Java语言中，JDBC（Java DataBase Connect...
分类：
数据库 时间：
2014-07-18 22:25:21
阅读次数：
368
tomcat的JDBC连接池org.apache.tomcat.jdbc.pool更换或替代吗Apache Commons DBCP连接池。
为什么我们需要一个新的连接池?
这里有几个原因:
1.DBCP 1.x是单线程的。 为了成为线程安全的 共享锁整个池在短时间内在两个对象 分配和对象返回。 注意,这并不适用 下议院DBCP 2.x。
2.DBCP 1.x可以缓慢。 逻辑cpu数量的增...
分类：
数据库 时间：
2014-07-18 22:00:44
阅读次数：
299
场景：某个日志表数据量很大，而且访问该表的作业比较多，造成耗时比较长；解决方案：将用的比较少/不常用的字段剥离出去；案例：日志表trackinfo，每天约有2亿数据量，有5000个作业按天访问，每天的日志数据量有可能会继续添加下去，那么很可能就满足不了要求（每添加10%的数据量作业大概要添加20分钟...
分类：
其他好文 时间：
2014-07-18 20:35:32
阅读次数：
192
是针对单个作业，针对本job再怎么优化也不会影响到其他job；Hadoop的负载主要有两部分：CPU负载和IO负载；问题：机器io开销很大，但是机器的cpu开销较小，另外map输出文件也较大，怎么办？解决办法：通过设置map的中间输出进行压缩就可以了，这个不会影响最终reduce的输出。集群中的机器...
分类：
其他好文 时间：
2014-07-18 20:29:09
阅读次数：
384
合理建表分区有效提高查询速度。重要数据采用外部表存储，CREATE EXTERNAL TABLE，数据和表只是一个location的关联，drop表后数据不会丢失；内部表也叫托管表，drop表后数据丢失；所以重要数据的表不能采用内部表的方式存储。在全天的数据里查询某个时段的数据，性能很低效-----...
分类：
其他好文 时间：
2014-07-18 20:16:47
阅读次数：
298
从hive将数据导出到mysqlhttp://abloz.com2012.7.20author:周海汉在上一篇文章《用sqoop进行mysql和hdfs系统间的数据互导》中，提到sqoop可以让RDBMS和HDFS之间互导数据，并且也支持从mysql中导入到HBase，但从HBase直接导入mysq...
分类：
数据库 时间：
2014-07-18 20:00:07
阅读次数：
482
作为企业Hadoop应用的核心产品之一，Hive承载着公司95%以上的离线统计，甚至很多企业里的离线统计全由Hive完成；Hive在企业云计算平台发挥的作用和影响越来越大，如何优化提速已经显得至关重要；Hive作业的规模决定着优化层级，一个Hive作业的优化和一万个Hive作业的优化截然不同；后续文...
分类：
其他好文 时间：
2014-07-17 13:13:40
阅读次数：
266
案例一：trackinfo，基础表处理常用的低性能UDF背景描述：日志信息10分钟加载一次到实时日志表trackreal中（按小时分区），为了保证实时性，在加载的过程中并没有做任何的过滤处理，加载到trackreal表后再过滤非法数据、爬虫数据等，生成按天增量日志表trackinfo，然后根据不同的...
分类：
其他好文 时间：
2014-07-17 13:09:44
阅读次数：
226
在DRP项目中，我们使用了ThreadLocal来创建Connection连接，避免了一直以参数的形式将Connection向下传递（传递connection的目的是由于jdbc事务要求确保使用同一个connection连接）。那么ThreadLocal是如果做到的呢？它和同步锁的不同在哪里？
是什么：
对于ThreadLocal看英文单词我们很容易理解为一个线程的本地实现，但是它...
分类：
编程语言 时间：
2014-07-17 10:30:04
阅读次数：
314
近期用到了利用JDBC查询Oracle数据库，但是查询效率不尽人意，研究了一下JDBC方面可以优化的地方，在这里跟大家分享一下。
1.设置最优的预取值
defaultRowPrefetch：预取条数默认值
defaultBatchValue：触发查询操作的批量请求值...
分类：
数据库 时间：
2014-07-17 10:17:07
阅读次数：
253
