最近在做binlog日志采集同步到数据平台的事。刚开始需要借助sqoop将从库数据表数据初始化到hbase中，整个过程都需要自动化进行，尽量减少人为干预。但是，由于历史原因，线上存在两种字符集格式的数据库（表），而导入到hbase的数据我们需要统一采用utf-8格式存储。sqoop直接导入的话，没法控制中文字符转码工作。所以需要对sqoop源码进行简单改动支持这种方式。
大体思路是，通过定义一个...
分类：
数据库 时间：
2014-09-11 19:26:02
阅读次数：
573
数据库创建索引的原则索引可以提高数据的访问速度，但同时也增加了插入、更新和删除操作的处理时间。所以是否要为表增加索引、索引建立在那些字段上，是创建索引前必须要考虑的问题。解决此问题就是分析应用程序的业务处理、数据使用，为经常被用作查询条件、或者被要求排序的字段建立索引。索引是建立在数据库表中的某些列...
分类：
数据库 时间：
2014-09-11 19:20:02
阅读次数：
211
数据库设计准则（第一、第二、第三范式说明）I、关系数据库设计范式介绍1.1 第一范式（1NF）无重复的列 所谓第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。如果出现重复的属性，就可能需要定义一个新的实体，.....
分类：
数据库 时间：
2014-09-09 22:45:59
阅读次数：
257
Bulk Insert命令具体 BULK INSERT以用户指定的格式复制一个数据文件至数据库表或视图中。 语法：Sql代码 BULKINSERT[['database_name'.]['owner'].]{'table_name'FROM'data_file'} WITH( [BATCHSIZE[...
分类：
其他好文 时间：
2014-09-09 21:22:49
阅读次数：
307
在实际开发中，在数据库表设计中，我们往往习惯于用一个Int类型的State字段去表示数据的状态，这个字段很方便去表示这条数据的状态，但是又不愿意去建一张这个State字段的外键表去解释状态。（这一类型表状态的字段可能还会有很多，这里只是举个例）我们一般会把这个State字段当成一个约定，去在项目中应...
分类：
其他好文 时间：
2014-09-09 17:50:09
阅读次数：
170
DAO：封装对数据库的访问
DTO：对象与数据库表的绑定...
分类：
其他好文 时间：
2014-09-09 12:44:48
阅读次数：
181
转自：http://love-flying-snow.iteye.com/blog/573303废话少说，直接讲分区语法。Oracle表分区分为四种：范围分区，散列分区，列表分区和复合分区。一：范围分区 就是根据数据库表中某一字段的值的范围来划分分区，例如：Sql代码 create table g....
分类：
数据库 时间：
2014-09-09 11:10:08
阅读次数：
343
性能问题的处理流程发现/重现问题利用工具剖析形成假设改进代码和设计在以上的四个步骤中循环反复，直到问题解决。Profile!不要猜!性能优化的主要策略：不要做无用功：不要在启动时花几百ms来做logging，不要为同样的数据做多次查询试图重用：对于创建过程昂贵的对象，要重用而..
分类：
其他好文 时间：
2014-09-07 18:39:06
阅读次数：
237
一、数据库范式第一范式（1NF）：数据库表中的字段都是单一属性的，不可再分。这个单一属性由基本类型构成，包括整型、实数、字符型、逻辑型、日期型等，而不能为数组，集合等。例如，如下的数据库表是符合第一范式的：字段1字段2字段3字段4而这样的数据库表是不符合第一范式的：字段1字段2字段3字段4字段3.1...
分类：
数据库 时间：
2014-09-07 12:13:25
阅读次数：
357
本例采用Microsoft SQL2008建立的一个数据库表/****链接数据库操作**/在stdafx.h的头文件中加入#import "C:\Program Files\Common Files\System\ado\msado15.dll" no_namespace\rename("EOF",...
分类：
数据库 时间：
2014-09-06 16:00:03
阅读次数：
354
