经过一段时间的配置,Hadoop环境总算运行起来了,但是呢,为何主节点就没有跑tasktracker和datanode进程,slave节点也没有跑secondary进程,Hadoop是如何控制的呢?经过看权威指南(267页)和跟群里同学讨论,还有自己测试,最终确定:tasktracker和datan...
分类:
其他好文 时间:
2014-07-19 20:19:01
阅读次数:
239
一、Hadoop构造模块
运行Hadoop的意思其实就是运行一组守护进程(daemons),每个进程都有各自的角色,有的仅运行在单个服务器上,有的则运行在集群多个服务器上,它们包括:
NameNodeSecondary NameNodeDataNodeJobTrackerTaskTracker
Hadoop是一个分布式存储与计算系统,分布式存储部分是HDFS,分布...
分类:
其他好文 时间:
2014-07-19 02:31:56
阅读次数:
188
Linux服务器在启动时需要启动很多系统服务,它们向本地和网络用户提供了Linux的系统功能接口,直接面向应用程序和用户。提供这些服务的程序是由运行在后台的守护进程(daemons)来执行的。守护进程是生存期长的一种进程。它们独立于控制终端并且周期性的执行某种任务或等待处理某些发生的事件。他们常.....
分类:
系统相关 时间:
2014-07-19 00:30:25
阅读次数:
404
1.启动hadoop守护进程 bin/hadoop start-all.sh2.在hadoop的bin目录下建立一个input文件夹 mkdire input3.进入input目录之后,在input目录下新建两个文本文件,并想其写入内容echo "hello excuse me fuck thank...
分类:
其他好文 时间:
2014-07-18 23:39:00
阅读次数:
350
1.zend server 安装好后需要重启下.无论是win还是mac..win不重启组件不能用.mac 不重启守护进程是离线的2.修改apache配置.的根目录.到zendstudio的工作空间Listen 80DocumentRoot "K:\zendworkspace" Options ...
分类:
其他好文 时间:
2014-07-18 17:31:51
阅读次数:
210
daemon进程守护进程1.fork子进程,而后父进程退出,此时子进程会被init进程接管2.修改子进程的工作目录,创建新进程组和新会话,修改umask3.子进程再次fork一个进程,这个进程可以称为孙子进程,而后子进程退出4.重定向孙子进程标准输入流,标准输出等atexit程序退出调用某个函..
分类:
编程语言 时间:
2014-07-17 09:15:42
阅读次数:
272
角色
如果你的playbook增长到包含也无法解决,或者你已经拥有一个数量巨大的模板,你或许就该使用角色了。它允许你根据定义的格式对文件进行分组,从本质上来将,它是一个具有一些自动化功能的包含,角色可以帮你很好的组织你的资料库。
角色允许你将变量、文件、任务、模板、Handlers放到一个文件夹中,然后包含他们。在建立好一个有效的依赖关系之后,你还可以在一个角色中包含另外一个角色。和包含一样,你可以传递变量给角色。利用这些特性,你可以创建一个自包含的角色并很容易跟其他人分享它。...
分类:
其他好文 时间:
2014-07-16 17:22:05
阅读次数:
305
在大型项目中使用Anisble,本小节介绍roles角色依赖关系,pull模式...
分类:
其他好文 时间:
2014-07-16 17:20:32
阅读次数:
319
外部库存设备清单
第一章中介绍了Ansible的运行需要一个设备库存清单文件,让他可以知道需要访问那些主机设备。Ansible还可以通过脚本让你选择其他的库存清单文件,这个脚本可以可以用任何语言来写,只要他的输出格式符合JSON。
外部库存清单的脚本需要接受2种Ansible的调用,如果用用--list调用,它返回一个可以用的组和主机列表;如果用--host调用,则返回一个可用的主机列表。所有的输出必须是JSON格式,所以你使用的语言最好能轻易的支持这座格式。...
分类:
其他好文 时间:
2014-07-16 12:54:47
阅读次数:
373
原文链接番一、OP酱的自白 自从入了贵圈,每天需要强大的内心来维护混乱的线上,每天都是用浆糊一样的shell /python在糊墙补窟窿啊,感觉每天都是在和if else打交道啊,每次花牛鼻子劲写的脚本,下次来点新需求,能重用的部分居然少到不想再重用,很绝望啊,有木有?批量运行工具还是在lhck ....
分类:
其他好文 时间:
2014-07-16 12:23:04
阅读次数:
380