Spark之命令 1.spark运行模式有4种： a.local 多有用测试, b. standalone：spark 集群模式，使用spark自己的调度方式。 c. Yarn: 对MapreduceV1升级的经典版本，支持spark。 d.Mesos:类似Yarn的资源调度框架，提供了有效的、跨分...
分类：
其他好文 时间：
2015-08-26 23:54:32
阅读次数：
404
1、登录oncommand,找到需要扩容的lun,并且增加容量，保存并关闭。2、vSphereClient上刷新所有卷，找到这个lun,点击增加。3、一路下一步直到完成。注意：其他品牌的SAN存储是否支持这么做有待考证。
分类：
移动开发 时间：
2015-08-20 15:37:01
阅读次数：
529
伪集群, 是指在单台机器中启动多个zookeeper进程, 并组成一个集群. 以启动3个zookeeper进程为例
1、找到zk目录，复制两份
cp -r zk zk2
cp -r zk zk3
2、分别修改配置文件zoo.cfg
dataDir=/opt/zk/zk/data
dataLogDir=/opt/zk/zk/logs
server.0=127.0.0.1:5555:66...
分类：
其他好文 时间：
2015-08-11 18:55:33
阅读次数：
164
集群模式的配置和伪集群基本一致.
由于集群模式下, 各server部署在不同的机器上, 因此各server的conf/zoo.cfg文件可以完全一样.
示例：
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/opt/zk/zk/data
dataLogDir=/opt/zk/zk/logs
cli...
分类：
其他好文 时间：
2015-08-11 18:55:23
阅读次数：
114
Rabbitmq集群高可用RabbitMQ是用erlang开发的，集群非常方便，因为erlang天生就是一门分布式语言,但其本身并不支持负载均衡。Rabbit模式大概分为以下三种：单一模式、普通模式、镜像模式单一模式：最简单的情况，非集群模式。没什么好说的。普通模式：默认的集群模式。对于Queue来...
分类：
其他好文 时间：
2015-08-09 18:28:41
阅读次数：
253
最近两个月一直和kettle打交道，从开始的没听说过，到现在能够熟练运用，不得不说项目驱动下，学习东西是最快的。好了，虽然使用kettle应付项目的任务绰绰有余，但是还是想系统的学习一下，总结一下。例如job用的比较少，kettle的集群模式没有涉及到等等。 说起kettle，还是先说说ETL（Extract-Transform-load,即抽取，转换，加载）数据仓库技术，是用来...
分类：
其他好文 时间：
2015-07-26 00:33:28
阅读次数：
289
对于replicaset中的secondary节点默认是不可读的。在写多读少的应用中，使用ReplicaSets来实现读写分离。通过在连接时指定或者在主库指定slaveOk，由Secondary来分担读的压力，Primary只承担写操作。如果通过shell访问mongo，要在secondary进行查询。会出现如下错误：p_w_picpa..
分类：
其他好文 时间：
2015-07-20 16:55:08
阅读次数：
191
NetAppClusteredDataONTAP8.3针对7模式的重大改进在NetApp发布cDOT8.3以前，很多7的老用户不愿意升级，除了cDOT的概念相对复杂，命令行需要重新学习之外，主要有两个原因。磁盘使用率低读性能不高对于低端的设备，特别是盘很少的情况下，cDOT中的磁盘使用率相比7-Mode低。这主..
分类：
移动开发 时间：
2015-07-16 22:36:14
阅读次数：
252
2014年，NetApp用8000万美金从Riverbed（河床？）手中收购了其SteelStore产品线，用来补充自身的云整体解决方案。今年，NetApp对该产品重新包装，并重命名为AltaVault。传统的备份软件，在面临接入到云的时候，总要面临一个问题，就是在利用云带来的种种好处的同时，如何能够和..
分类：
其他好文 时间：
2015-07-16 14:15:13
阅读次数：
186
2014年，NetApp用8000万美金从 Riverbed （河床？）手中收购了其SteelStore产品线，用来补充自身的云整体解决方案。今年，NetApp对该产品重新包装，并重命名为AltaVault。传统的备份软件，在面临接入到云的时候，总要面临一个问题，就是在利用云带来的种种好处的同时，如...
分类：
其他好文 时间：
2015-07-15 16:27:07
阅读次数：
274
