因为Spark与Hadoop是关联的，所以在安装Spark前应该根据已安装的Hadoop版本来选择待安装的Sqark版本，要不然就会报“Server IPC version X cannot communicate with client version Y”的错误。 我安装的Hadoop版本为Ha...
分类：
其他好文 时间：
2015-07-18 21:20:09
阅读次数：
188
一，准备文件：准备两个包在eclipse中files和libLib下面log4j-1.2.17.jarselenium-server-standalone-2.44.0.jarfiles文件：二，代码代码：packagewebdriver;importorg.openqa.selenium.WebD...
分类：
其他好文 时间：
2015-07-18 19:57:00
阅读次数：
273
Spark standalone安装-最小化集群部署（Spark官方建议使用Standalone模式） 集群规划： 主机 IP 软件 进程 sc1 192.168.1.61 spark Master、Worker sc2 192.168.1.62 spark Worker sc...
分类：
其他好文 时间：
2015-07-18 15:25:20
阅读次数：
207
Synopsys TetraMAX Overlay with Synthesis(tx) vK-2015.06 Linux64 1CD集成电路测试的工具Synopsys TetraMAX StandAlone(txs) vK-2015.06 Linux64 1CD集成电路测试Synopsys公司的集...
分类：
系统相关 时间：
2015-07-17 11:35:04
阅读次数：
221
1. 首先Vivado中：File à Export à ExportHardware
2. File à Launch SDK 此时会打开SDK
3. 在SDK中：Create the
standalone BSP using File à New à Board Support Package 创建BSP
4. 然后File à Import à Gen...
分类：
其他好文 时间：
2015-07-15 19:17:31
阅读次数：
213
按照《Hadoop权威指南(第2版)》来说，hadoop的单机模式又叫做独立模式（standalone或者local mode），无需运行任何守护进程（daemon），所有程序都在单个JVM上执行，由于在本机模式下测试和调试MapReduce程序比较方便，因此该模式适宜用在开发阶段环境及软件JDK1...
分类：
其他好文 时间：
2015-07-13 18:24:48
阅读次数：
112
ZooKeeper是一个开源的分布式服务框架，它是Apache Hadoop项目的一个子项目，主要用来解决分布式应用场景中存在的一些问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置管理等，它支持Standalone模...
分类：
其他好文 时间：
2015-07-13 12:25:44
阅读次数：
168
自己一直用wiremock的standalone版本，代码中使用的时候就简单封装了http请求来使用，后来看了一下wiremock自己的client使用起来也不错，也支持远端访问，于是推荐给大家使用本地wiremock一个stub的demo首先在pom中加好dependency com.git...
分类：
其他好文 时间：
2015-07-11 14:55:23
阅读次数：
1265
Spark运行模式Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。
local(本地模式)：常用于本地开发测试，本地还分...
分类：
其他好文 时间：
2015-07-10 13:34:15
阅读次数：
154
Spark应用概念Spark应用（Application）是用户提交的应用程序。执行模式又Local、Standalone、YARN、Mesos。根据Spark Application的Driver Program是否在集群中运行，Spark应用的运行方式又可以分为Cluster模式和Client模式。
下面是Spark应用涉及的一些基本概念：
Application：Spark 的应用...
分类：
其他好文 时间：
2015-07-08 16:39:37
阅读次数：
178
