A simple solution that I use is to merely stop the service and x-copy the files from my bin folder into the service folder.A batch file to stop the se...
Arch Linux 安装记录基本上参考wiki上的新手指南，使用arch 2014.6.1 iso安装设置网络有线网络Arch Linux 默认开启DHCP。静态ip首先关闭DHCP：systemctl stop dhcpcd.service，找出网卡名字ip link（例中为enp2s0f0），...
分类：
系统相关 时间：
2014-06-26 17:27:43
阅读次数：
326
前提：1、spark1.0的包编译时指定支持hive：./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0；3、安装与hadoop对应的CDH版本的hive；Spark SQL ...
分类：
数据库 时间：
2014-06-26 11:24:11
阅读次数：
564
今天遇到个很郁闷的问题，使用catalina.shstop或者shutdown.sh关闭tomcat总是失败，总提示连接超时。开始以为是自己tomcat配置的问题，重新部署上没更改过配置的tomcat，结果依然是失败。后来使用telnet127.0.0.1到shutdown的端口发现失败；tomcat停止的时候将SHUTDOWN指令发送..
分类：
编程语言 时间：
2014-06-26 06:09:23
阅读次数：
375
美国计算机科学家、图灵奖获得者詹姆斯·尼古拉·格雷(Jim Gray)，在他的著名的论文“Why do computers stop and what can be done about it?”中首次提出了程序bug的类型，比如玻尔bug(Bohrbug)、 海森堡bug(Bohrbug)等用著名...
分类：
其他好文 时间：
2014-06-25 14:55:40
阅读次数：
263
以后spark，mapreduce，mpi可能三者集于同一平台，各自的侧重点有所不用，相当于云计算与高性能计算的集合，互补，把spark的基础看了看，现在把开发环境看看，主要是看源码，最近Apache Spark源码走读系列挺好的，看了些。具体环境配置不是太复杂，具体可以看https://githu...
分类：
其他好文 时间：
2014-06-25 11:44:47
阅读次数：
185
这一章我们探索了Spark作业的运行过程，但是没把整个过程描绘出来，好，跟着我走吧，let you know！我们先回顾一下这个图，Driver Program是我们写的那个程序，它的核心是SparkContext，回想一下，从api的使用角度，RDD都必须通过它来获得。下面讲一讲它所不为认知的一面...
分类：
其他好文 时间：
2014-06-25 11:13:39
阅读次数：
288
本文详细讲解了Spark在Standalone模式下的Master的HA的源码分析。
为了解决Standalone模式下的Master的SPOF，Spark采用了ZooKeeper提供的选举功能。Spark并没有采用ZooKeeper原生的Java API，而是采用了Curator，一个对ZooKeeper进行了封装的框架。采用了Curator后，Spark不用管理与ZooKeeper的连接，这些对于Spark来说都是透明的。Spark仅仅使用了100行代码，就实现了Master的HA。当然了，Spark是...
分类：
其他好文 时间：
2014-06-25 07:59:09
阅读次数：
183
启动：
sudo /etc/init.d/mysql start
停止：
sudo /etc/init.d/mysql stop
重启：
sudo /etc/init.d/mysql restart
查看日志：
cat /var/log/mysql.err
cat /var/log/mysql/error.log...
分类：
数据库 时间：
2014-06-24 23:06:43
阅读次数：
242
Apache Hadoop的服务的部署比较繁琐，需要手工处理配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用了Cloudera Manager方式进行安装。本文讲解的是parcel安装方式。...
分类：
其他好文 时间：
2014-06-24 22:44:17
阅读次数：
501
