hadoop环境的部署配置很费时间,有时候开发人员也不怎么关注。如何快速部署一个hadoop环境呢,我用shell脚本编写了一个小程序,可以完成这个功能。
分类:
其他好文 时间:
2014-05-26 20:42:07
阅读次数:
436
for i in range(1,10): for j in range(1,i+1): print
(" ".join(["%d*%d=%d" %(j,i,i*j)]))[root@miller qinbin]# python test.py
1*1=11*2=2 2*2=41*3=3 2...
分类:
编程语言 时间:
2014-05-26 20:34:16
阅读次数:
388
分布式框架:
Zookeeper与paxos算法一、zookeeper是什么官方说辞:Zookeeper 分布式服务框架是Apache Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象,我们...
分类:
其他好文 时间:
2014-05-26 16:37:39
阅读次数:
300
最近在网上找了下mysql查询随机的几个sql,我把最终的记录下来。 SELECT *
FROM uchome_mtag AS a JOIN (SELECT MAX(tagid) AS id FROM uchome_mtag) AS b ON
(a.tagid>=FLOOR(b.id*RAND())...
分类:
数据库 时间:
2014-05-26 08:51:19
阅读次数:
317
数组属性length计算长度方法join()将数组元素组合成reverse()反转数组sort()进行排序内置函数eval(string)eval函数直接计算出string的值isNaN(变量)检验参数是否是一个数字,如果不是数字返回trueString对象属性length返回字符串的长度方法big...
分类:
编程语言 时间:
2014-05-26 08:15:15
阅读次数:
241
对于开源的东东,尤其是刚出来不久,我觉得最好的学习方式就是可以看源码和doc,测试它的例子
为了方便查看源码,关联导入源码的项目
block数据块,在配置文件hdfs-default.xml中可以查看到,记住要修改不是在这里
block文件存储块是最基本的单位
查看block存放位置,配置文件中查看
如果文件大于64M会占两个块,meta文件是校验...
分类:
其他好文 时间:
2014-05-26 05:30:58
阅读次数:
227
写在前面一:
本文总结“Hadoop生态系统”中的其中一员——Apache Flume
写在前面二:
所用软件说明:
一、什么是Apache Flume
官网:Flume is a distributed, reliable, and available
service for efficiently
collecting, aggregating, and m...
分类:
其他好文 时间:
2014-05-26 04:32:10
阅读次数:
359
对于SQL的Join,在学习起来可能是比较乱的。我们知道,SQL的Join语法有很多inner的,有outer的,有left的,有时候,对于Select出来的结果集是什么样子有点不是很清楚。Coding
Horror上有一篇文章,通过文氏图 Venn diagrams 解释了SQL的Join。我觉得...
分类:
数据库 时间:
2014-05-24 13:51:44
阅读次数:
354
hadoop安装计大体上按这个做就好了http://blog.csdn.net/hitwengqi/article/details/8008203需要修改hadoop-env.shexport
JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64export PAT...
分类:
其他好文 时间:
2014-05-24 11:17:22
阅读次数:
210
Hive中小表与大表关联(join)的性能分析【转自:http://blog.sina.com.cn/s/blog_6ff05a2c01016j7n.html】经常看到一些Hive优化的建议中说当小表与大表做关联时,把小表写在前面,这样可以使Hive的关联速度更快,提到的原因都是说因为小表可以先放到...
分类:
其他好文 时间:
2014-05-24 08:58:53
阅读次数:
531