前言: 添加linux用户帐号,这个相对简单, 在面对集群, 许多机器的时候, 我们该如何去做和实现? 这篇短文, 简单讲解一些思路, 尽可能地涉及周边的一些知识点. 不光是运维人员会面临这个问题, 对一个基于linux平台的集群服务或软件(比如hadoop集群), 有时也会涉及到这块.应用场景:....
分类:
系统相关 时间:
2014-07-16 21:39:15
阅读次数:
360
共同点:1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别:2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。3.想象你在操作RMDB数据库,如果是全表扫描...
分类:
其他好文 时间:
2014-07-16 21:30:18
阅读次数:
167
在过去,每个应用都是单个程序,跑在单一CPU的单一服务器上。现在不一样了。在大数据和云计算的世界里,应用都是由许多独立的程序运行在一组不断变化的机器上。 协调这些独立程序的行为比起单一程序来困难的多。这样很容易导致开发人员陷入协调的逻辑而没有时间来实现正确的应用逻辑,或者反过来,花很少的时...
分类:
其他好文 时间:
2014-07-16 21:20:54
阅读次数:
149
原文链接:http://www.cnblogs.com/AllStarGIS/p/3788518.html参考链接:1.http://www.cnblogs.com/zhouej/archive/2012/03/25/2379646.html2.http://ec58.com/archives/28...
分类:
数据库 时间:
2014-07-16 21:13:37
阅读次数:
289
spark jdbc分支源码下载地址 https://github.com/apache/spark/tree/branch-1.0-jdbc编译spark jdbc ./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --wit.....
分类:
数据库 时间:
2014-07-16 21:04:35
阅读次数:
306
记得还没毕业的时候,那时候我还不知道网优是什么,我的目标是做一名改变世界的程序猿,虽然我现在的目标也没有变,但是人毕竟不能两次踏入同一条河流,所以,过去终究只能是过去。 偶然看到了mapreduce,度娘告诉我这是一个用来处理大数据的框架,回想起当时笔试去哪儿网的时候的一篇2M的小说中找出张无忌出....
分类:
其他好文 时间:
2014-07-16 21:00:34
阅读次数:
279
一、笔记本触摸板关闭方法 1、在windows下有官方驱动。 2、ubuntu下没有 操作方法如下: 1,终端操作sudo rmmod psmouse 这个是禁用的sudo modprobe psmouse 这个是启用 此操作把左右键也关了。如果不想, 那就用第二种。 2,在软件中心中搜索"poi....
分类:
其他好文 时间:
2014-07-16 20:47:01
阅读次数:
232
今天查看hadoop源代码, 发现有个Unsafe.java稍微总结下优势 1 减少线程调度开销, Unsafe.java 通过采用非堵塞原子方式来减少线程调度开销 2 传统线程通信通过wait,notify方法实现(会有信号量的堵塞队列),而Unsafe使用操作系统调度命令park,unpark,...
分类:
编程语言 时间:
2014-07-16 20:37:03
阅读次数:
273
在Hadoop中,有一种处理过程叫Combiner,与Mapper和Reducer在处于同等地位,但其执行的时间介于Mapper和Reducer之间,其实就是Mapper和Reducer的中间处理过程,Mapper的输出是Combiner的输入,Combiner的输出是Reducer的输入。例如.....
分类:
其他好文 时间:
2014-07-16 20:36:31
阅读次数:
185
一、云计算的基本概念 "云"这个词已经被说得烂到不能再烂了。云计算,云平台,云+端,云服务,云……但与很多行业里的朋友聊天发现,其实大家对云计算到底是怎么个玩意,并不是太了解。作者今天为大家梳理一下,各种各样的“云”,葫芦里都在卖什么药。 云是网络、互联网的一种比喻说法,计算可以理解为计算机,因.....
分类:
其他好文 时间:
2014-07-16 20:28:10
阅读次数:
127