Hadoop的核心处理模块是MapReduce，也是当前最流行的大数据处理架构之一。它能够将Hadoop数据存储无缝的融入到数据处理当中，使得它在操作上足够简单，功能上足够强大。MapReduce已经解决很多实际问题（从日志分析，到数据排序，到文本操作，到基于模式的搜索，到图像处理，到机器学习等等）...
分类：
其他好文 时间：
2014-05-27 00:14:28
阅读次数：
449
大数据_大数据时代_大数据概念_网络大数据随着大数据时代的来临，大数据也吸引了越来越多的关注。网络大数据（http://www.raincent.com）整合了大数据，大数据概念，大数据处理，大数据分析，cdn，cdn加速，idc，网络测量,网络监测，网络安全测量，网站性能监测，行业分析报告，行业研...
分类：
其他好文 时间：
2014-05-26 22:02:55
阅读次数：
338
第一步，優化字段 原始數據導入數據時，對所有字段進行優化，儘可能地爲每個字段選用最小的字段類型
字符型字段，一般導入時默認會是nvarchar型，改爲varchar型節省一半空間。
數值型字段，如果是整數，如果最大可能數小於255，改爲tinyiny，如果最大可能數小於32768，改爲smallin...
分类：
其他好文 时间：
2014-05-26 21:35:46
阅读次数：
310
目前，我们已经知道了怎么把ES作为一个简单的NoSQL风格的分布式文档存储的使用方法，我们能把JONS格式的document存储进去，也通过ID检索出来，但是ES的强大功能不止于此，他能整理混乱的数据，把大数据变成大信息。这也是我们使用JSON格式而不是使用其他格式存储document的原因，ES不...
分类：
其他好文 时间：
2014-05-26 14:44:06
阅读次数：
333
本文介绍一个简单的多线程并发爬虫，这里说的简单是指爬取的数据规模不大，单机运行，并且不使用数据库，但保证多线程下的数据的一致性，并且能让爬得正起劲的爬虫停下来，而且能保存爬取状态以备下次继续。
爬虫实现的步骤基本如下：分析网页结构，选取自己感兴趣的部分;建立两个Buffer，一个用于保存已经访问.....
分类：
编程语言 时间：
2014-05-26 13:13:56
阅读次数：
318
几年前，雷·库兹韦尔写过一本书叫做《奇点临近》。他说，人类文明经过这么多年发展，在本世纪的中叶会经过一个点，这个点，就是奇点。奇点是一个拐点，也就是说人类文明可能会进入一个分岔，可能会进入一个新的文明高度，也可能会急转直下，人类就此灭亡。所以奇点有双重的含义，有可能变得更好，也有可能变得更糟糕。
进入微软、亚马逊，谷歌等美国IT企业工作人才项目，起薪40万，百度搜索（MUMCS）
...
分类：
其他好文 时间：
2014-05-23 01:01:56
阅读次数：
256
The network is naturally bigdataing, while bigdata is
inherently networking.
--yeasy@blog
用英文表达似乎更加准确一些。
计算机科学发展了半个世纪，而网络的出现极大推动了计算机相关技术的爆发式进步。
计算机或网络领域所研究的典型问题，往往都是追求高性能、精确、准确，而大数据技术则往往提供一...
分类：
其他好文 时间：
2014-05-23 00:25:05
阅读次数：
285
导读：餐饮管理软件代理商从“坐等”获利进入辛勤“打单”的薄利时期，这一现象竟是传统管理软件厂商一手造成的。是逆来顺受等待它们“良心发现”，还是寻求突破把命运掌握自己手里？当下管理软件市场中新兴起的品牌和产品是如何拯救代理商？
正文：如今国内各行业管理软件市场早已进入成熟期，其中餐饮管理软件代理商们已从“坐等”获利进入辛勤“打单”的薄利时期，不但面临着新老软件代理商间不断压缩着市场份额...
分类：
其他好文 时间：
2014-05-22 23:26:19
阅读次数：
260
随着大数据时代的到来，我们越来越多的使用电子产品，使我们的活动信息被越来越多的收集起来。我们知道，机器学习的一大目标就是利用历史数据去预测未来，那么，我们的行为会不会被预测呢？...
分类：
其他好文 时间：
2014-05-22 22:43:12
阅读次数：
557
