码迷,mamicode.com
首页 >  
搜索关键字:数据量    ( 6632个结果
C#批量数据处理SqlBulkCopy
1.什么是SqlbulkCopy,解决的问题 在程序处理中经常会遇见大数据量的批量操作,比如我们要把一个文本格式的数据批量插入数据库。如果按照传统的逻辑只会将从文件中独处的数据轮询的方式一条一条的插入到目标数据库里面,这样反复连接打开数据库执行插入命令势必效率极其低下。所以很多程序在处理这样的插入操作的时候都是在半夜用户低风期处理,以免影响正常用户的使用。 .Net Framework...
分类:数据库   时间:2014-06-19 13:04:45    阅读次数:397
string和stringbuilder区别,为什么还要保留string,难道只是因为传统?
我知道string和stringbuilder的区别, string每次修改字符串都是新建,然后删除旧的串会很影响效率,而stringbuilder是在字符串的末尾操作,和string比较快, 在小数据库的时候string和stringbuilder没有什么大的影响,但是大数据量的时候,stringbuilder会比string快很多, 那为什么在.net框架下不去掉string呢,难道...
分类:其他好文   时间:2014-06-16 11:37:24    阅读次数:213
利用 pacbio 数据组装真菌基因组
最近在做组装稻瘟病的基因组。 估计的基因组大小为40M。 由于没有参考基因组,进行de novo assembly。 用HGAP策略。需要的有用的pacbio数据量应为400M左右, 选用的seed read 最小长度为6K, seed的覆盖度应在20倍左右。拼接流程为:1,filtering. 2...
分类:其他好文   时间:2014-06-16 10:59:10    阅读次数:424
EF - 使用
一. 批量插入 在数据量少(几十条)的情况下,还是可以一用的, 毕竟 EF 的语法用起来还是很方便的 在数据量多的情况下,有了 SqlBulkCopy ,EF 可以洗洗睡了二. 更新,删除 数据量少的情况下,可以直接SaveChanges, 多了的话,手写 sql 语句,用 ExecuteS...
分类:其他好文   时间:2014-06-14 21:56:39    阅读次数:310
在SQL 中生成JSON数据
这段时间接手一个数据操作记录的功能,刚拿到手上的时候打算用EF做,后来经过仔细考虑最后还是觉定放弃,最后思考再三决定:1、以模块为单位分表、列固定(其实可以所有的操作记录都放到同一个表,但是考虑到数据量大的时候查询性能的问题还是分表吧)列:主键ID、引用记录主键ID、操作时间、操作类型、详细信息(里...
分类:数据库   时间:2014-06-14 18:35:27    阅读次数:388
DataSet和DataReader
查询结果小数据量时用DataSet,大数据量时用DataReader。【1】DataReader中的查询结果并不是放到程序中的,而是放在数据库服务器中,SqlDataReader只是相当于放了一个指针(游标),只能读取当前游标指向的行,一旦连接断开就不能再读取。这样做的好处就是无论查询结果有多少条,...
分类:其他好文   时间:2014-06-12 16:52:25    阅读次数:216
oracle创建临时表
Oracle临时表可以说是提高数据库处理性能的好方法,在没有必要存储时,只存储在Oracle临时表空间中。希望本文能对大家有所帮助。 1 、前言 目前所有使用 Oracle 作为数据库支撑平台的应用,大部分数据量比较庞大的系统,即表的数据量一般情况下都是在百万级以上的数据量。 当然在 Orac...
分类:数据库   时间:2014-06-12 14:46:01    阅读次数:245
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!