稍微了解Spark源码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，许多大牛也在源码分析的文章中对其做了很多相关的深入分析和解读。这里，结合自己前段时间的阅读体会，与大家共同讨论学习一下Spark的入口对象—天堂之门—SparkContex。SparkC...
分类：
其他好文 时间：
2014-06-28 19:27:40
阅读次数：
338
搜索引擎网站收录地址大全：百度搜索网站登录口：http://www.baidu.com/search/url_submit.htmlGoogle网站登录口：http://www.google.com/addurl/?hl=zh-CN&continue=/addurlGoogle新闻网站内容http:...
分类：
Web程序 时间：
2014-06-28 15:02:31
阅读次数：
226
现有的hadoop生态系统中存在的问题1）使用mapreduce进行批量离线分析；2）使用hive进行历史数据的分析；3）使用hbase进行实时数据的查询；4）使用storm进行实时的流处理；5）。。。。。。导致：维护成本高、学习成本高Spark的出现弥补了Hadoop生态系统中的缺陷，使用spar...
分类：
其他好文 时间：
2014-06-28 14:08:46
阅读次数：
306
前提：安装好jdk1.7，hadoop安装步骤：1、安装scala下载地址：http://www.scala-lang.org/download/配置环境变量：export SCALA_HOME=/..../scalaexport PATH=.:$SCALA_HOME/bin ....验证：sca....
分类：
其他好文 时间：
2014-06-28 14:08:09
阅读次数：
404
导读看这篇文章的时候，最好是能够跟着代码一起看，我是边看代码边写的，所以这篇文章的前进过程也就是我看代码的推进过程。作业执行上一章讲了RDD的转换，但是没讲作业的运行，它和Driver Program的关系是啥，和RDD的关系是啥？官方给的例子里面，一执行collect方法就能出结果，那我们就从co...
分类：
其他好文 时间：
2014-06-28 13:54:31
阅读次数：
257
In part one we showed how to create Openvswitch extension and submit it to Microcore repository. There were also presented after-install steps for Ope...
分类：
移动开发 时间：
2014-06-24 10:17:04
阅读次数：
588
开发步骤：1.创建java工程2.加入jar包（依赖包、驱动包）3.创建sqlMapConfig.xml4.创建数据库，数据库表USER_C，插入测试记录5.创建PO对象 user.java6.创建映射文件 User.xml7.创建测试类占位符：iBatis #id#myBatis #{id}1、创...
分类：
其他好文 时间：
2014-06-23 08:26:31
阅读次数：
435
Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”。具体特点概括为“轻、快、灵和巧”。轻：Spark 0.6核心代码有2万行，Hadoop 1.0为9万行，...
分类：
其他好文 时间：
2014-06-23 07:25:53
阅读次数：
418
上一章的课程里，我们学习了表单以及表单中的各种元素，常用的表单元素有：文本框( text)、密码框(password)、单选按钮(radio)、复选框(checkbox)、列表框()、按钮(button、submit和reset)、多行文本框()。另外，还学习了框架，包括框架的基本结构、如何创建多个...
分类：
Web程序 时间：
2014-06-20 17:52:51
阅读次数：
341
最近，在学习和使用Spark的过程中，遇到了一些莫名其妙的错误和问题，在逐个解决的过程中，体会到有必要对解决上述问题的方法进行总结，以便能够在短时间内尽快发现问题来源并解决问题，现与各位看官探讨学习如下：解决spark运行调试问题的四把“尖刀”：1、Log包括控制台日志、主从节点日志、HDFS日志等...
分类：
其他好文 时间：
2014-06-20 15:16:41
阅读次数：
161
