使用Sqoop把oracle数据库中的一张表，这里假定为student，当中的数据导入到hdfs中，然后再创建hive的external表，location到刚才保存到hdfs中数据的位置。最后发现对hive中表特定条件进行count时结果和oracle中结果不一致。 sqoop import --
分类：
数据库 时间：
2016-03-19 01:01:14
阅读次数：
1031
学习Hive需要，闲话不说 本文的内容： 1、下载Mysql for Mac 下载地址：http://dev.mysql.com/downloads/ 注意，下载末尾是 .dmg格式的文件，这要下错。。。。。 2、下载Mysql Workbench 下载地址：http://dev.mysql.com
分类：
数据库 时间：
2016-03-18 00:20:35
阅读次数：
211
（一）Hive+Solr简介Hive作为Hadoop生态系统里面离线的数据仓库，可以非常方便的使用SQL的方式来离线分析海量的历史数据，并根据分析的结果，来干一些其他的事情，如报表统计查询等。Solr作为高性能的搜索服务器，能够提供快速，强大的全文检索功能。（二）为什么需要hive集成s..
分类：
其他好文 时间：
2016-03-17 19:53:12
阅读次数：
357
（一）Hive+Solr简介 Hive作为Hadoop生态系统里面离线的数据仓库，可以非常方便的使用SQL的方式来离线分析海量的历史数据，并根据分析的结果，来干一些其他的事情，如报表统计查询等。 Solr作为高性能的搜索服务器，能够提供快速，强大的全文检索功能。 （二）为什么需要hive集成solr
分类：
其他好文 时间：
2016-03-17 16:37:12
阅读次数：
347
1. 创建azure hadoop，记住创建时填的管理员密码2. 创建可能需要10-15分钟。创建好了之后，去dashboard选择创建好的hadoop—>选中cluster3.登录azure hdinsight，输入刚才填的管理员密码，用户名是admin。 进入hive editor页面，使用测试数据进行查询4. 进入Job History，选中一个job，可以查看job output这些job...
分类：
其他好文 时间：
2016-03-17 14:49:42
阅读次数：
199
使用多少个mapreduce来进行移植数据，例如：./sqoopimport--create-hive-table--hive-import--hive-overwrite--connectjdbc:oracle:thin:@XXX.XXX.XXX.XXX:1521:orcl--usernamename--passwordpwd--tabletablename--hive-databasehivedatabasename-m5上面使用了5个任务，然后数..
分类：
其他好文 时间：
2016-03-16 19:23:58
阅读次数：
222
http://blog.itpub.net/22778222/viewspace-1119892/ 官方文档翻译 http://blog.csdn.net/hguisu/article/details/7256833 http://www.cnblogs.com/linjiqin/arch
分类：
其他好文 时间：
2016-03-15 19:06:34
阅读次数：
122
一、Hive集群安装1，安装好Hadoop，并启动HDFS和YARN。2，下载hive1.2.1http://apache.fayea.com/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz上传文件至集群中3.安装Hiveroot@spark-master:~#ls
apache-hive-1.2.1-bin.tar.gzcorelinks-anon.txtaaa公共的模板视频图片文档下..
分类：
其他好文 时间：
2016-03-15 00:54:30
阅读次数：
527
一、获取数据搜狗实验室为我们提供了用户使用搜狗搜索引擎查询的日志，下载地址为http://download.labs.sogou.com/dl/q.html本文选择下载精简版。数据格式如下：二、上传数据至HDFS建立hdfs目录root@spark-master:~#hdfsdfs-mkdir-p/library/sougou上传文件root@spark-master:~..
分类：
其他好文 时间：
2016-03-15 00:47:36
阅读次数：
462
1，首先需要安装hive，参考http://lqding.blog.51cto.com/9123978/17509672，在spark的配置目录下添加配置文件，让Spark可以访问hive的metastore。root@spark-master:/usr/local/spark/spark-1.6.0-bin-hadoop2.6/conf#vihive-site.xml
<configuration>
<property>..
分类：
数据库 时间：
2016-03-15 00:39:51
阅读次数：
633
