随着移动互联网的发展，大量的非结构化数据随之产生，不仅对数据库存储大数据提出了新的要求，同时对于查询数据和进行大数据分析也提出了苛刻的要求，这些显然是单服务器处理能力无法满足的，自然建立一个集群是不可避免的。集群的复杂性大家众所周知，而MongoDB的优势之一正式可以帮助我们解决这些问题。分片(sh...
分类：
数据库 时间：
2014-07-12 13:00:54
阅读次数：
267
由于本人是个足球迷，前段日子Google利用自己云平台预测世界杯八进四的比赛并取得了75%的正确率的事情让我振动不小。虽然这些年一直听说大数据的预测和看趋势能力如何如何强大，但这次的感受更加震撼，因为世界杯是很多人都在关注并尝试去预测的比赛，Google云平台在这个时候站出来预测比赛无疑很让人充满期...
分类：
其他好文 时间：
2014-07-12 00:14:33
阅读次数：
233
wcf webHttpBinding Post 大数据量提交 ios c＃客户端一直在为安卓和苹果写服务，刚开始的时候全用的Get请求用url传所有的参数，由于url长度的限制大的数据量无法传到服务器，提交图片什么的就更不用说了，后来用的POST请求，记录一下，做了一个很简单的小例子：c#源代码提供...
分类：
Web程序 时间：
2014-07-11 19:20:06
阅读次数：
312
1.配置环境说明 spark:5台zybo板，192.168.1.1master，其它4台为slave hadoop：192.168.1.1（外接SanDisk ) 2.单节点hadoop测试： 如果出现内存不足情况如下： 查看当前虚拟内存容量： free -m cd /mnt mkdir swap...
分类：
其他好文 时间：
2014-07-11 11:38:44
阅读次数：
407
将几百万条数据导入到数据库中，怎么样高效率的导入？下面我就介绍一个高效率的方法：1、将数据库文件(DB.csv)导入到DataTable中：/// /// 将CSV文件的数据读取到DataTable中 /// /// CSV文件路径 ///...
分类：
数据库 时间：
2014-07-11 10:33:04
阅读次数：
252
以下图1是hadoop生态图，通俗的说，就是hadoop核心模块和衍生的子项目。 图 1 Hadoop生态系统图由图可知，hadoop生态系统包括以下成员：① 各种浏览器，产生海量的Web数据；② Nutch项目，一个快速搜索海量网页的开源项目③ HDFS，Hadoop分布式文件系统，大数据的存储系...
分类：
其他好文 时间：
2014-07-10 15:32:23
阅读次数：
189
Memcache存储大数据的问题huangguisu Memcached存储单个item最大数据是在1MB内，假设数据超过1M,存取set和get是都是返回false，并且引起性能的问题。我们之前对排行榜的数据进行缓存，因为排行榜在我们全部sql select查询里面占了30%，并且我们排行榜每小时...
分类：
其他好文 时间：
2014-07-09 16:26:50
阅读次数：
190
原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3832405.html一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapRed...
分类：
编程语言 时间：
2014-07-09 14:38:04
阅读次数：
266
Hadoop分布式平台的大数据解决方案
讲师：迪伦
对这个课程有兴趣的可以加我qq2059055336联系我
1 课程背景
GREENPLUM适用场景
Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中，每个 SMP 节点也可以运行自己的操作系统、数据库等，它的特点主要就是查询速度快，数据装载速度快，批量DML处理快。而且性能可以随着硬件的添加，呈线性增加...
分类：
其他好文 时间：
2014-07-09 11:36:26
阅读次数：
205
最近一直在构思这样的一个胶片，主要是从大数据，云计算的发展来看底层网络的变革。众所周知，一般一个新的技术，都会先在运营商里使用，然后才会在一些大的政企或特殊行业使用。特别是现在的大数据与云计算的兴起，势必会对网络提出一个大的变革。互联网厂商一般都是与业务相..
分类：
其他好文 时间：
2014-07-09 08:07:56
阅读次数：
226
