Oracle中的查询如果放到spark-local模式中计算会有怎样的结果？下面我们看一个案例这里需要说明的是，我这里并没有用spark集群，以免大家认为这里性能的提示只是集群计算能力的功劳，具体原因和优化方式我会在后续的博客中说明。
分类：
数据库 时间：
2017-05-21 21:54:29
阅读次数：
224
在Spark 集群上运行一个应用,只需通过master的 spark://IP:PORT 链接传递到SparkContext构造器 在集群上运行交互式的Spark 命令, 运行如下命令： 注意，如果你在一个 spark集群上运行了spark-shell脚本，spark-shell 将通过在conf/ ...
分类：
系统相关 时间：
2017-05-16 23:29:30
阅读次数：
563
Spark集群的调度分应用间调度和应用内调度两种情况，下文分别进行说明。 1. 应用间调度 1) 调度策略1: 资源静态分区 资源静态分区是指整个集群的资源被预先划分为多个partitions，资源分配时的最小粒度是一个静态的partition。依据应用对资源的申请需求为其分配静态的partitio ...
分类：
其他好文 时间：
2017-05-14 16:56:03
阅读次数：
129
问题：用SecureCRT远程连接至Spark集群，启动spark-shell却发现输错命令后却无法用退格键删除。 解决方法： 第一步： 在SecureCRT的菜单栏选择“OPtions（选项）”按钮，在弹出的选项中选择“Session Options（会话选项）” 第二步： 在弹出的对话框中选择左 ...
分类：
系统相关 时间：
2017-05-09 00:45:25
阅读次数：
422
关于两者的讨论文章： https://www.zhihu.com/question/26568496 http://blog.jobbole.com/97150/ 文章通过多个角度对两者进行对比，根据目前的使用情况，Spark更适用于我们的大数据平台进行大数据运算。 公司的Spark集群资源正在搭建 ...
分类：
其他好文 时间：
2017-05-04 21:53:27
阅读次数：
145
在hadoop、zookeeper、hbase、spark集群环境搭建 中已经把环境搭建好了，工欲善其事必先利其器，现在器已经有了，接下来就要开搞了，先从spark-shell开始揭开Spark的神器...
分类：
系统相关 时间：
2017-04-30 19:57:56
阅读次数：
284
Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。 Hadoop YARN—Ha ...
分类：
其他好文 时间：
2017-04-25 00:37:59
阅读次数：
227
在分布式环境下，Spark 集群采用的是master/slave结构。Master是对应集群中的含有master进程的节点，slave是集群中含有worker进程的节点。Master作为整个集群的控制器，负责整个集群的正常运行；worker相当于是计算节点，接收主节点命令与进行状态汇报，client ...
分类：
其他好文 时间：
2017-04-17 16:05:10
阅读次数：
341
安装spark包 修改spark-env.sh文件 修改slaves文件 spark1 spark2 spark3 安装spark集群 在另外两个节点进行一模一样的配置，使用scp将spark和.bashrc拷贝到spark2和spark3即可。 启动spark集群 ...
分类：
其他好文 时间：
2017-04-17 10:05:24
阅读次数：
221
7,在SparkWorker1和SparkWorker2上完毕和SparkMaster相同的Hadoop 2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容复制到SparkWorker1和SparkWorker2上; 8,启动并验证Hadoop分布式集群 ...
分类：
其他好文 时间：
2017-04-16 22:43:15
阅读次数：
231
