最近使用hive做一些etl工作，除了日常sql的编写，了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要，一次hive调优就把原来的零散文件做了合并。首先记下hadoop常用的命令：（hadoop
fs -help列出全部）1，hadoop fs –fs [local | ]：声...
分类：
其他好文 时间：
2014-05-26 20:44:49
阅读次数：
308
（1）链接数据库（2）选择相关数据（3）导入数据显示（4）第二种方案
直接打开一个csv文件（5）
设定存储位置得到插入csv文件的数据表（6）元数据视图和“数据视图”中查看数据集。注意是否有任何属性具有缺失或不一致的数据。（7）替换缺失值结果buying属性下的缺失个数为0（7）使用过滤器
过滤其...
分类：
Windows程序 时间：
2014-05-26 14:41:58
阅读次数：
1860
使用PHP的cURL库可以简单和有效地去抓网页，您只需要运行一个脚本，然后分析一下您所抓取的网页，然后就可以以程序的方式得到您想要的数据了。无论是您想从一个链接上取部分数据，或是取一个XML文件并把其导入数据库，哪怕就是简单的获取网页内容，cURL是一个功能强大的PHP库。本文主要讲述如果使用这个P...
分类：
Web程序 时间：
2014-05-26 09:40:36
阅读次数：
315
一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase
二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL
2.3 HBase中的数据导出到mysql
目前没有直接的命令将HBase中的数据导出到MySQL，但可以先将HBase中的数据导出到HDFS中，再将数据导出到MySQL。
三、使用Sqoop将Orac...
分类：
数据库 时间：
2014-05-26 05:48:46
阅读次数：
304
用 putty连接数据库：mysql -uroot -p密码创建数据库：create database
dbname charset utf8;导入数据库 .sql文件, 把 .sql 文件放到 cenots，如下放在 /var/www/html/ 下source
/var/www/html/dat...
分类：
其他好文 时间：
2014-05-26 02:25:03
阅读次数：
234
1.需求 使用hvie
server一段时间后，业务部门需要自己不定时的查询业务数据，之前这一块都是他们提需求我们来做，后来发现这样重复一样的工作放在我们这边做是在没有效率，遂提出给他们工具或者web
UI自助查询，当然hive有自己的hwi可以通过网页UI进行自助查询，但是这对不懂sql的业务人....
分类：
编程语言 时间：
2014-05-24 14:11:12
阅读次数：
406
Hive中小表与大表关联(join)的性能分析【转自：http://blog.sina.com.cn/s/blog_6ff05a2c01016j7n.html】经常看到一些Hive优化的建议中说当小表与大表做关联时，把小表写在前面，这样可以使Hive的关联速度更快，提到的原因都是说因为小表可以先放到...
分类：
其他好文 时间：
2014-05-24 08:58:53
阅读次数：
531
Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法。Hive将数据组织为表，这就使得HDFS上的数据有了结构，元数据即表的模式，都存储在名为meta....
分类：
其他好文 时间：
2014-05-23 05:54:55
阅读次数：
1771
