1.什么是SqlbulkCopy,解决的问题
在程序处理中经常会遇见大数据量的批量操作,比如我们要把一个文本格式的数据批量插入数据库。如果按照传统的逻辑只会将从文件中独处的数据轮询的方式一条一条的插入到目标数据库里面,这样反复连接打开数据库执行插入命令势必效率极其低下。所以很多程序在处理这样的插入操作的时候都是在半夜用户低风期处理,以免影响正常用户的使用。
.Net Framework...
分类:
数据库 时间:
2014-06-19 13:04:45
阅读次数:
397
我知道string和stringbuilder的区别,
string每次修改字符串都是新建,然后删除旧的串会很影响效率,而stringbuilder是在字符串的末尾操作,和string比较快,
在小数据库的时候string和stringbuilder没有什么大的影响,但是大数据量的时候,stringbuilder会比string快很多,
那为什么在.net框架下不去掉string呢,难道...
分类:
其他好文 时间:
2014-06-16 11:37:24
阅读次数:
213
最近学习大数据的处理,由于项目开发的需要,使用一种简单的方式来将Excel中的数据导入到数据库中,开发使用的kettle工具。 kettle工具安装很简单,从官网上下载下来之后,直接解压到制定的盘符下即可(前提是你配置了JAVA的环境变量,path,classpath)。 在WINDOWS环境下双击...
分类:
数据库 时间:
2014-06-15 22:10:06
阅读次数:
412
大数据与JS实现2014巴西世界杯冠军预测图 http://www.zuidaima.com/share/1855841547176960.htm...
分类:
Web程序 时间:
2014-06-15 08:13:32
阅读次数:
205
一年前,准备使用mongDb自带的map,reduce功能模拟hadoop,换个思路做一个简易的大数据分拆再结合存储的办法;这个功能可以用于数据日志或者游戏数据之类,进行周期性归纳和按照自己需求重组数据;以下代码实现了将每日数据collecttion:gameLog日期的数据统计出不同的collec...
分类:
数据库 时间:
2014-06-14 22:38:35
阅读次数:
432
“麦麦”是我的创意,它是一个基于地理位置的O2O服务,它向店长们提供发布商品的平台,向顾客们提供评价、消费商品的平台。它就是“现实版的淘宝”。
分类:
其他好文 时间:
2014-06-14 18:16:00
阅读次数:
202
你需要了解大数据高并发的瓶颈在哪里,一般都是数据库层面的,机械硬盘承载不起非常快速的读写操作,cpu承载不起大量的逻辑运算,所以最基本的解决思路就是:1.换固态硬盘加快硬盘的读写效率。2.建立缓存中间件降低对硬盘的读写次数,缓存不用多说了,最最最基本和重要的优化策略。3.将硬盘的读写或者数据的计算分...
分类:
其他好文 时间:
2014-06-14 17:13:23
阅读次数:
179
公司要为自己的o2o网站加一个在线客服系统,要求能够实时进行中俄双语翻译。有挑战啊。...
分类:
其他好文 时间:
2014-06-14 13:09:57
阅读次数:
242
Apache Spark?is a fast and general engine for large-scale data processing: 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么,那么我们需要知道它解决了什么问题,还有是怎么解决这些问题的。
本文将带领你进入Spark的世界,首先阐述了为什么Spark能够在众多的大数据分析平台中脱颖而出:通用,易用,高性能和与Hadoop的有效整合。Spark All in One的解决方案使用一个通用栈解决了流式,交互式,实时查询,迭代...
分类:
其他好文 时间:
2014-06-14 11:57:03
阅读次数:
288
作为一个普通用户,在这里我就不对O2O做什么概念性的总结了,就以产品的角度来做一些探讨。
一、什么是O2O?
O2O,在现在的概念就是(online tooffline),即线下的商务机会与线上结合。我的理解简而言之就是怎么利用互联网的工具让本地的商家更赚钱。说太多的概念没有意义,我们看到的一些O2O的形式,如团购、点餐等都是帮助有地域性局限的商家获取更多的客源赚钱。
二、什么样...
分类:
其他好文 时间:
2014-06-13 21:43:01
阅读次数:
258