Spark执行模式 Spark 有非常多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则执行在集群中，眼下能非常好的执行在 Yarn和 Mesos 中。当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，假设企业已经有 Yarn ...
分类：
其他好文 时间：
2016-03-31 14:12:30
阅读次数：
351
在进群生产环境下运行Topology和在本地模式下运行非常相似。下面是步骤： 1、定义Topology（如果使用Java开发语言，则使用TopologyBuilder来创建） 2、使用StormSubmitter向集群提交Topology。StormSubmitter有三个参数，Topology的名
分类：
其他好文 时间：
2016-03-07 01:07:57
阅读次数：
203
2.1 安装Express 如果一个包是某个工程的依赖，那我们需要在工程的目录下使用本地模式安装这个包，如果要通过命令行调用这个包中的命令，则需要用全局模式安装。Express提供了命令行快速构建项目的工具，所以我们使用全局安装： $ npm install -g express 2.2 建立工程
分类：
Web程序 时间：
2016-02-22 00:23:49
阅读次数：
238
1.本地模式 本地模式的安装 将hadoop 安装包解压后不用任何配置就是默认的本地模式 此时 core-site.xml ,hdfs-site.xml , marped.site.xml 三个配置文件都为空 此时没有hdfs文件系统，可以执行mapreduce hadoop fs -ls / 会列
分类：
其他好文 时间：
2016-02-21 14:22:03
阅读次数：
200
一、安装模式介绍： Hive官网上介绍了Hive的3种安装方式，分别对应不同的应用场景。 1、内嵌模式（元数据保村在内嵌的derby种，允许一个会话链接，尝试多个会话链接时会报错） 2、本地模式（本地安装mysql 替代derby存储元数据） 3、远程模式（远程安装mysql 替代derby存储元数...
分类：
其他好文 时间：
2016-01-07 01:16:37
阅读次数：
311
Node.js包管理器： 当我们要把某个包作为工程运行的一部分时，通过本地模式获取，如果要在命令行下使用，则使用全局模式安装 使用全局模式安装的包并不能直接在JavaScript文件中用require获得，因为require不会搜索/usr/local/lib/node_modules/ 创建全.....
分类：
Web程序 时间：
2015-12-14 16:16:25
阅读次数：
140
Hadoop程序开发的独门绝技在本地，伪分布和全分布模式下调试程序程序输出的完整性检查和回归测试日志和监控性能调优1、开发MapReduce程序[本地模式] 本地模式下的hadoop将所有的运行都放在一个单独的Java虚拟机中完成，并且使用的是本地文件系统（非HDFS）。在本地模式中运行的程序将所....
分类：
其他好文 时间：
2015-11-25 16:56:50
阅读次数：
266
今天闲来无事想起了node.js,因此到网上下载了一个node.js的安装程序进行安装。其中：安装程序：node-v0.11.13-x64.msi PC系统：Windows 7 自定义安装路径：D:\TOOLS\NodeJs安装完成后，执行： D:\TOOLS\NodeJs>node -v v0.1...
分类：
Web程序 时间：
2015-11-06 01:29:52
阅读次数：
380
1. ?前置条件 None root account Apache Maven Java 1.7 2. 源码 ???https://github.com/apache/incubator-zeppelin ???git clone?https://github.com/apache/incubator-zeppelin 3. 编译 本地模式：mvn...
分类：
其他好文 时间：
2015-09-09 15:02:08
阅读次数：
372
Spark的运行模式多种多样，在单机上既可以以本地模式运行，也可以以伪分布式模式运行。而当以分布式的方式运行在Cluster集群中时，底层的资源调度可以使用Mesos 或者是Hadoop Yarn ，也可以使用Spark自带的Standalone Deploy模式Spark处于活跃的开发过程中，代码...
分类：
其他好文 时间：
2015-09-08 18:11:27
阅读次数：
304
