前言：做一个数据同步项目，要求：同步数据不丢失的情况下，提高插入性能。 项目DB框架：Mybatis。DataBase:Oracle。 批量插入数据方式： 一、Mybatis 全局设置批处理； 二、Mybatis 局部设置批处理； 三、Mybatis foreach批量插入： ①SELECT UNI ...
分类：
数据库 时间：
2016-05-26 14:30:21
阅读次数：
597
>> 创建：·db.foo.insert({"bar":"baz"}) //如果文档中没有"_id"键会自动增加一个·db.foo.batchInsert([{"_id":0},{"_id":2}]) //只适用将多个文档插入到一个集合，不能单次请求中多个文档批量插入多个集合中 // 当前Mongo ...
分类：
数据库 时间：
2016-05-23 18:37:57
阅读次数：
187
一、JDBC的批量插入 JDBC批量插入主要用于数据导入和日志记录因为日志一般都是先写在文件下的等。 我用Mysql5.1.5的JDBC driver 分别对三种比较常用的方法做了测试 方法一，使用PreparedStatement加批量的方法 Java代码 try{ 说明下在建Statement的 ...
分类：
数据库 时间：
2016-05-23 14:49:22
阅读次数：
246
关于SqlBulkCopy的测试 最近要做.net关于sql大量插入，找到了sqlbulkcopy(自己google下，应该很多说明了)这个好东西，于是测试下性能，用了三个方法对比： 1)直接用ado.net,for循环N次进行单条插入 2)把N条插入语句拼在一个sql，进行插入 3)直接使用sql ...
分类：
数据库 时间：
2016-05-19 01:22:19
阅读次数：
212
对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。
经过对MySQL innodb的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。
1. 一条SQL语句插入多条数据。
常用的插入语句如：
...
分类：
数据库 时间：
2016-05-12 22:04:28
阅读次数：
228
参考文献：http://my.oschina.net/u/1452675/blog/203670 http://superjavason.iteye.com/blog/255423 数据表： 实验结果: ...
分类：
数据库 时间：
2016-05-07 18:22:29
阅读次数：
286
一、简述 在项目中有一个需要导入数据包的需求，数据包是一个XML的文件，里面存储有数据，那么读取文件后就形成一个DataTable，然后改怎么把这个DataTable的数据批量插入到数据库里面去呢？用一个循环？循环虽然简单，但总结的有点别扭，所以还是用SqlCommandBuilder、SqlDat ...
分类：
数据库 时间：
2016-04-30 15:34:13
阅读次数：
502
由于项目需要从HBase里读取数据，进行MapReduce之后输出到HDFS中。 为了测试方便，我这里写了一个批量插入HBase数据的测试代码。采用的Maven工程。 打算，今后的所有用到的小测试例子都放到这个工程里面了。 代码放到GitHub上面了：https://github.com/quchu ...
分类：
其他好文 时间：
2016-04-28 12:10:46
阅读次数：
170
<?php ini_set("max_execution_time", "1800"); /** * insert 10000条数据 * T1() 164.98570299149 //只循环 $sth->bindValue();$sth->execute(); * T2() 365.94625711 ...
分类：
数据库 时间：
2016-04-25 19:13:56
阅读次数：
234
在程序中封装了一个List集合对象，然后需要把该集合中的实体插入到数据库中，由于项目使用了Spring+MyBatis的配置，所以打算使用MyBatis批量插入，由于之前没用过批量插入，在网上找了一些资料后最终实现了，把详细过程贴出来。 实体类TrainRecord结构如下： Java代码 publ ...
分类：
其他好文 时间：
2016-04-25 11:35:30
阅读次数：
190
