使用：props.load(DBUtils.class.getClassLoader().getResourceAsStream("day01/db.properties"));导入配置文件使用的是反射机制.class///获得Class对象.class.getClassLoader()///获得ClassLoader对象.class.getClassLoader().getResourceAsStream(Stringname);//获得inputStr..
分类：
数据库 时间：
2014-05-27 04:00:33
阅读次数：
241
最近使用oraclede impdp工具全库导入数据库时，在数据库里面使用出现如下情况。SQL
state [null]; error code [17081]; 批处理中出现错误: ORA-00001: 违反唯一约束条件
(GDXAORCL.SYS_C0055359); nested except...
分类：
数据库 时间：
2014-05-27 00:46:55
阅读次数：
715
MySQL 和 PostgreSQL 导入数据功能对比。...
分类：
数据库 时间：
2014-05-23 07:54:15
阅读次数：
380
好久不写，一方面是工作原因，有些东西没发直接发，另外的也是习惯给丢了，内因所致。今天是个好日子，走起！btw，实际上这种格式化输出应该不只限于某一种需求，差不多是通用的。需求：--基本的：当前Hive查询结果存在数据与表头无法对其的情况，不便于监控人员直接查看，或者导出到excel中，需要提供一个脚...
分类：
其他好文 时间：
2014-05-21 23:00:39
阅读次数：
527
代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发，后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发，支付宝流计算与分布式搜索系统的设计和研发，后成为支付宝海量计算体系架构师兼支付宝三代架构成员。现就转战于阿里巴巴集团-CDO-海量数据部门，负责创新性项目的研究和跟进，目前专注于Google第二代数据库产品MegaStore的研究和在阿里的落地。
在...
分类：
数据库 时间：
2014-05-21 17:04:40
阅读次数：
393
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
课程讲师：迪伦
课程分类：Java
适合人群：高级
课时数量：96课时
用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop
涉及项目：Greenplum Hadoop大数据分析平台
更新程度：完毕
对这个课程有兴趣的朋友可以加我的QQ2059055336和...
分类：
其他好文 时间：
2014-05-21 13:23:22
阅读次数：
363
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase,
Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie,
Cassandra, Hama, Whirr,...
分类：
其他好文 时间：
2014-05-21 05:55:45
阅读次数：
280
今天在写一个sql的时候，使用了hive的unionall，运行时报错。sql如下：selectdimension_name,dt,dtype_name,uv,new_uv,old_uv,pv,stay_timefromtemp_bi.uv
unionall
select‘平台‘dimension_name
,dt
,app_platformdtype_name
,count(distinctmid)uv
,count(distinctcasewhenis_..
分类：
其他好文 时间：
2014-05-20 23:53:32
阅读次数：
527
前段时间遇到了一个很诡异的发生的Map阶段的OOM异常，花了些时间才找到原因，这个简要记录一下。先看log。节点一的TaskTracker的log：节点二的TaskTracker的log：节点三的TaskTracker的log：其他节点的TaskTracker中的log都和slave4的一样的：故障分析：OOM是一个比较常见的故..
分类：
其他好文 时间：
2014-05-20 22:15:47
阅读次数：
422
在虚拟机上测评了下MySQL和PostgreSQL的各种LOADFILE方式以及时间。因为是虚拟机上的测评，所以时间只做参考，不要太较真,看看就好了。MySQL工具：1.自带mysqlimport工具。2.命令行loaddatainfile...3.利用mysql-connector-pythonDriver来写的脚本。PostgreSQL工具：1.pgloader..
分类：
数据库 时间：
2014-05-20 18:49:28
阅读次数：
447
