以下内容大部分来自：http://blog.csdn.net/tjvictor/article/details/4360030部分内容出自互联网，实验结果为亲测。 最近自己开发一个向数据库中插入大量历史数据的函数库，需要解决一个大数据量插入的效率问题。不用分析，我知道如果采取逐条数据插入的方式，那么...
分类：
数据库 时间：
2014-06-18 17:05:26
阅读次数：
278
◎新媒体做自媒体的还不如玩QQ群的：人家轻松月赚10万东方卫视谈与阿里合作：拥抱互联网，是“我们最后的疯狂”社会化阅读：ZAKER进入瓶颈期◎大数据不打破数据割据，大数据还是“乌托邦”◎可穿戴设备/硬件糖尿病患者福音：iHealth推出小型血糖仪 可插在智能手机耳机孔内使用◎电商中小网站如何使用谷....
分类：
其他好文 时间：
2014-06-18 17:04:09
阅读次数：
223
前言今天Spark最终跨出了里程碑的一步，1.0.0版本号的公布标志着Spark已经进入1.0时代。1.0.0版本号不仅增加了非常多新特性，而且提供了更好的API支持。Spark SQL作为一个新的组件增加，支持在Spark上存储和操作结构化的数据。已有的标准库比方ML、Streaming和Grap...
分类：
其他好文 时间：
2014-06-18 15:29:22
阅读次数：
208
【2014中国数据库技术大会】内存计算：百分点内存数据库架构演变Posted on2014 年 5 月 5 日byadmin【IT168数据库大会现场报道】2014年4月10日-12日，第五届中国数据库技术大会(DTCC 2014)在北京五洲皇冠国际酒店拉开序幕。在为期三天的会议中，大会将围绕大数据...
分类：
数据库 时间：
2014-06-18 13:37:42
阅读次数：
341
http://www.lanceyan.com/tech/arch/mongodb_shard1.html按照上一节中《搭建高可用mongodb集群（三）—— 深入副本集》搭建后还有两个问题没有解决：从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候能否做...
分类：
数据库 时间：
2014-06-17 13:07:58
阅读次数：
549
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控：
Spark应用程序的WebUI或者Spark Standalone的集群监控指标，然后通过支持指标收集的集群监控系统，如ganglia进行监控辅助监控工具
1：WebUI
Spark应用程序提交后，driver和Executor之间不断的交换运行信息，可以通过driver的4...
分类：
其他好文 时间：
2014-06-16 20:12:51
阅读次数：
325
快半年未更新blog，都快要忘记这里了。这半年内，升级做了父亲，有个宝宝后家里的事比之前忙多了，而且忙的不亦乐乎。这半年内，工作内容也是多样化，好几个重点任务，都要兼顾却精力不够，导致工作任务管理有些混乱。大数据、虚拟化技术需要学习，多个项目管理等需要统筹。技..
分类：
其他好文 时间：
2014-06-16 17:12:04
阅读次数：
259
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Re..
分类：
其他好文 时间：
2014-06-16 17:07:55
阅读次数：
402
2014年第一届电商技术大会由商派牵头在上海举行，抱着有空去凑热闹兼蹭饭的心理去参加了。黄兴公园小南国，UCloud,支付宝，阿里云，1号店等，还有几个小而有特色的公司代表作为嘉宾发言，还是挺有意思的。不过饭只蹭到了一顿兰州拉面+巴比馒头…1号店主讲个性化推荐，号称全站..
分类：
其他好文 时间：
2014-06-16 15:43:46
阅读次数：
319
