1.什么是SqlbulkCopy，解决的问题
在程序处理中经常会遇见大数据量的批量操作，比如我们要把一个文本格式的数据批量插入数据库。如果按照传统的逻辑只会将从文件中独处的数据轮询的方式一条一条的插入到目标数据库里面，这样反复连接打开数据库执行插入命令势必效率极其低下。所以很多程序在处理这样的插入操作的时候都是在半夜用户低风期处理，以免影响正常用户的使用。
.Net Framework...
分类：
数据库 时间：
2014-06-19 13:04:45
阅读次数：
397
我知道string和stringbuilder的区别，
string每次修改字符串都是新建，然后删除旧的串会很影响效率，而stringbuilder是在字符串的末尾操作，和string比较快，
在小数据库的时候string和stringbuilder没有什么大的影响，但是大数据量的时候，stringbuilder会比string快很多，
那为什么在.net框架下不去掉string呢，难道...
分类：
其他好文 时间：
2014-06-16 11:37:24
阅读次数：
213
从海量数据中“提纯”出有用的信息，这对网络架构和数据处理能力而言也是巨大的挑战。 如果你是《老友记》的粉丝，你一定不会忘记钱德勒。剧中，他总是不断地向人们解释自己的工作，似乎别人永远也搞不懂他所谓的“统计分析和数据修复专员”是做什么的？
这不能怪钱德勒，10年前，在《老友记》热播时，要向一个陌生人....
分类：
其他好文 时间：
2014-06-16 06:00:17
阅读次数：
382
最近学习大数据的处理，由于项目开发的需要，使用一种简单的方式来将Excel中的数据导入到数据库中，开发使用的kettle工具。 kettle工具安装很简单，从官网上下载下来之后，直接解压到制定的盘符下即可（前提是你配置了JAVA的环境变量,path,classpath）。 在WINDOWS环境下双击...
分类：
数据库 时间：
2014-06-15 22:10:06
阅读次数：
412
优质数据库在处理大数据的程序或系统中是有非常重要的作用的，所以对于数据库的设计有很多的要求和规定。首先数据库要有很好的可维护性、灵活性，并且数据库的算法逻辑性也要有一定的优化性，这样可以对资源进行有效利用，并且处理数据的时间也会缩短。...
分类：
数据库 时间：
2014-06-15 12:27:34
阅读次数：
238
大数据与JS实现2014巴西世界杯冠军预测图 http://www.zuidaima.com/share/1855841547176960.htm...
分类：
Web程序 时间：
2014-06-15 08:13:32
阅读次数：
205
一年前，准备使用mongDb自带的map,reduce功能模拟hadoop，换个思路做一个简易的大数据分拆再结合存储的办法；这个功能可以用于数据日志或者游戏数据之类，进行周期性归纳和按照自己需求重组数据;以下代码实现了将每日数据collecttion:gameLog日期的数据统计出不同的collec...
分类：
数据库 时间：
2014-06-14 22:38:35
阅读次数：
432
你需要了解大数据高并发的瓶颈在哪里，一般都是数据库层面的，机械硬盘承载不起非常快速的读写操作，cpu承载不起大量的逻辑运算，所以最基本的解决思路就是：1.换固态硬盘加快硬盘的读写效率。2.建立缓存中间件降低对硬盘的读写次数，缓存不用多说了，最最最基本和重要的优化策略。3.将硬盘的读写或者数据的计算分...
分类：
其他好文 时间：
2014-06-14 17:13:23
阅读次数：
179
Apache Spark?is a fast and general engine for large-scale data processing： 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么，那么我们需要知道它解决了什么问题，还有是怎么解决这些问题的。
本文将带领你进入Spark的世界，首先阐述了为什么Spark能够在众多的大数据分析平台中脱颖而出：通用，易用，高性能和与Hadoop的有效整合。Spark All in One的解决方案使用一个通用栈解决了流式，交互式，实时查询，迭代...
分类：
其他好文 时间：
2014-06-14 11:57:03
阅读次数：
288
一. 算法描述
冒泡排序思想：依次比较相邻的数据，将小数据放在前，大数据放在后；即第一趟先比较第1个和第2个数，大数在后，小数在前，再比较第2个数与第3个数，大数在后，小数在前，以此类推则将最大的数"滚动"到最后一个位置；第二趟则将次大的数滚动到倒数第二个位置......第n-1(n为无序数据的个....
分类：
其他好文 时间：
2014-06-13 15:51:42
阅读次数：
207
