Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读...
分类：
其他好文 时间：
2014-09-10 22:35:31
阅读次数：
401
首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件，磁盘访问延迟约为内存访...
分类：
其他好文 时间：
2014-09-10 17:58:21
阅读次数：
195
”智慧公交”带给公众的不仅仅是对出行及乘车时间的把握，而是根本上的便利。
改变公交出行方式，提高公众生活的质量和水平，让“智慧”的更“智慧”，让便利的更便利！...
分类：
其他好文 时间：
2014-09-10 17:56:10
阅读次数：
227
在大数据的时代，传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。不过就是因为这些问题Nosql诞生了。NOSQL有这些优势：大数据量，可以通过廉价服务器存储大量的数据，轻松摆脱传统mysql单表存储量级限制。高扩展性，Nosql去掉了关系数据库的...
分类：
数据库 时间：
2014-09-10 15:37:20
阅读次数：
464
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第2期互动问答分享】Q1：新手学习spark如何入手才好？先学习Scala的内容，强烈推荐《快学Scala》；然后按照我们免费发布的“云计算分布式大数据Spark实战高手之路（共3本书）”循序渐进的学习即可，其中“云计算分布..
分类：
其他好文 时间：
2014-09-10 14:20:40
阅读次数：
211
决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第3期互动问答分享】Q1：groupbykey是排好序的吗？分组排序怎么实现？groupByKey在一个由（K,V）对组成的数据集上调用，返回一个（K，Seq[V])对的数据集，所以是没有排序的；要想分组排序，首先要使用groupByKey完成分..
分类：
其他好文 时间：
2014-09-10 14:19:51
阅读次数：
259
目录区域：业余开发的wpf 客户端终于完工了。。晒晒截图wpf 客户端【JDAgent桌面助手】开发详解-开篇wpf 客户端【JDAgent桌面助手】详解（一）主窗口 圆形菜单。。。wpf 客户端【JDAgent桌面助手】开发详解（二）桌面宠物制作详解因为前段时候有很多的事情 比较忙，自从上次写完博...
分类：
其他好文 时间：
2014-09-10 14:06:40
阅读次数：
179
启动并查看集群的状况
第一步：启动Hadoop集群，这个在第二讲中讲解的非常细致，在此不再赘述：
启动之后在Master这台机器上使用jps命令，可以看到如下进程信息：
在Slave1 和Slave2上使用jps会看到如下进程信息：
第二步：启动Spark集群
在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin...
分类：
其他好文 时间：
2014-09-10 10:55:20
阅读次数：
225
第12届北京国际图书节于前天落下帷幕，图书节结束前夕，“大数据时代内容产业的跨界创新峰会”在京举行。峰会上，国内首个新闻出版产业大数据应用联盟诞生。
峰会以“颠覆与再造——大数据对内容产业的深刻变革”和“跨界与突围——大数据对传统产业的价值重塑”为话题，深度解析了在移动互联网（http://www.csix.cn/）、物联网、大数据、云计算的时代背景下，新闻出版等内容产业如何积极拥抱先进技术...
分类：
其他好文 时间：
2014-09-10 09:40:40
阅读次数：
235
《Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点、十大目标)》 课程讲师：迪伦 课程分类：大数据 适合人群：初级 课时数量：230课时 用到技术：部署Hadoop集群 涉及项目：京东商城、百度、阿里巴巴 咨询QQ：1609173918下载地址： 链接：http://pan.baid...
分类：
其他好文 时间：
2014-09-09 23:03:29
阅读次数：
418
