随着移动互联网的发展，大量的非结构化数据随之产生，不仅对数据库存储大数据提出了新的要求，同时对于查询数据和进行大数据分析也提出了苛刻的要求，这些显然是单服务器处理能力无法满足的，自然建立一个集群是不可避免的。集群的复杂性大家众所周知，而MongoDB的优势之一正式可以帮助我们解决这些问题。分片(sh...
分类：
数据库 时间：
2014-07-12 13:00:54
阅读次数：
267
由于本人是个足球迷，前段日子Google利用自己云平台预测世界杯八进四的比赛并取得了75%的正确率的事情让我振动不小。虽然这些年一直听说大数据的预测和看趋势能力如何如何强大，但这次的感受更加震撼，因为世界杯是很多人都在关注并尝试去预测的比赛，Google云平台在这个时候站出来预测比赛无疑很让人充满期...
分类：
其他好文 时间：
2014-07-12 00:14:33
阅读次数：
233
wcf webHttpBinding Post 大数据量提交 ios c＃客户端一直在为安卓和苹果写服务，刚开始的时候全用的Get请求用url传所有的参数，由于url长度的限制大的数据量无法传到服务器，提交图片什么的就更不用说了，后来用的POST请求，记录一下，做了一个很简单的小例子：c#源代码提供...
分类：
Web程序 时间：
2014-07-11 19:20:06
阅读次数：
312
将几百万条数据导入到数据库中，怎么样高效率的导入？下面我就介绍一个高效率的方法：1、将数据库文件(DB.csv)导入到DataTable中：/// /// 将CSV文件的数据读取到DataTable中 /// /// CSV文件路径 ///...
分类：
数据库 时间：
2014-07-11 10:33:04
阅读次数：
252
海量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。但是，hadoop不擅长实时计算，因为它天然就是为批处理而生的，这也是业界一致的共识。否则最近这两年也不会有s4,storm,puma这些实时计...
分类：
其他好文 时间：
2014-07-11 10:00:17
阅读次数：
213
在Mysql数据库中，Mysql Merge表有点类似于视图。下面就让我们来一起了解一下Mysql Merge表都有哪些优点，希望对您能有所帮助。
Mysql Merge表的优点：
A： 分离静态的和动态的数据
B：利用结构接近的的数据来优化查询
C: 查询时可以访问更少的数据
D：更容易维护大数据集
E: 可以通过修改.mrg文件来修改Merge表，当然也可以用alter进行修改...
分类：
数据库 时间：
2014-07-10 23:53:04
阅读次数：
313
概述
最近工作上忙死了……广播变量这一块其实早就看过了，一直没有贴出来。
本文基于Spark 1.0源码分析，主要探讨广播变量的初始化、创建、读取以及清除。
类关系
BroadcastManager类中包含一个BroadcastFactory对象的引用。大部分操作通过调用BroadcastFactory中的方法来实现。
BroadcastFactory是一个Trait，有两个直接子...
分类：
其他好文 时间：
2014-07-10 19:43:49
阅读次数：
298
1.使用命令行操作1）4个通用命令行<1>archive归档文件的创建用途：由于hadoop的设计是为了处理大数据，理想的数据应该blocksize的倍数。namenode在启动时会将所有的元数据load到内存中当大量小于blocksize的文件存在的时候，，不仅占用了大量的存储空间，也占用了大量的n..
分类：
其他好文 时间：
2014-07-10 18:56:21
阅读次数：
353
以下图1是hadoop生态图，通俗的说，就是hadoop核心模块和衍生的子项目。 图 1 Hadoop生态系统图由图可知，hadoop生态系统包括以下成员：① 各种浏览器，产生海量的Web数据；② Nutch项目，一个快速搜索海量网页的开源项目③ HDFS，Hadoop分布式文件系统，大数据的存储系...
分类：
其他好文 时间：
2014-07-10 15:32:23
阅读次数：
189
Strom的简单实现Spout的实现对文件的改变进行分开的监听，并监视目录下有无新日志文件添加。在数据得到了字段的说明后，将其转换成tuple。声明Spout和Bolt之间的分组，并决定tuple发送给Bolt的途径。Spout中open、nextTuple和delcareOutputFields方...
分类：
其他好文 时间：
2014-07-10 15:01:33
阅读次数：
167
