最近学习大数据的处理，由于项目开发的需要，使用一种简单的方式来将Excel中的数据导入到数据库中，开发使用的kettle工具。 kettle工具安装很简单，从官网上下载下来之后，直接解压到制定的盘符下即可（前提是你配置了JAVA的环境变量,path,classpath）。 在WINDOWS环境下双击...
分类：
数据库 时间：
2014-06-15 22:10:06
阅读次数：
412
这里所说的在Java中执行Hive命令或HiveQL并不是指Hive Client通过JDBC的方式连接HiveServer（or HiveServer2）执行查询，而是简单的在部署了HiveServer的服务器上执行Hive命令。当然这是一个简单的事情，平常我们通过Hive做简单的数据分析实验的时候，都是直接进入Hive执行HiveQL，那我们为什么还要在程序中执行呢？
这里涉及到了一个问题，...
分类：
编程语言 时间：
2014-06-15 16:23:19
阅读次数：
301
Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能，适合实现Hive中没有的功能又不想写UDF的情况。例如，按日期统计每天出现的uid数，通常用如下的SQLSELECT date, count(uid)FROM xxxGROUP BY date但是，如果我想在reduce阶段对每天...
分类：
其他好文 时间：
2014-06-15 09:03:50
阅读次数：
243
后台修改admin配置文件和修改根目录下的config.php网站路径比如“/home/wwwroot/yiju/”或“D:/AppServ/www/yiju/”其中yiju是我在网站服务器下建立的网站根目录，以此举例修改/admin/config.php文件，如下：上传和导入数据库搬迁成功！
分类：
其他好文 时间：
2014-06-15 07:17:06
阅读次数：
319
安装mysql (1)执行命令rpm -qa |grep mysql 查看mysql是否安装 删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx(查看的库名,可使用右键复制) --nodeps 执行命令rpm -qa |grep mysql 检查是否删除干净 (2)执行命令...
分类：
数据库 时间：
2014-06-14 12:13:32
阅读次数：
284
----资源来自于官网教程
Simple Example Use Cases
MovieLens User Ratings
First, create a table with tab-delimited text file format:
CREATE TABLE u_data (
userid INT,
movieid INT,
rati...
分类：
其他好文 时间：
2014-06-11 06:32:36
阅读次数：
407
如果你指定了\n为sqoop导入的换行符，mysql的某个string字段的值如果包含了\n, 则会导致sqoop导入多出一行记录。有一个选项--hive-drop-import-delimsDrops \n, \r, and \01 from string fields when importing to Hive.这样\n \r 和\01都被自动删除，不会捣乱了。...
分类：
其他好文 时间：
2014-06-11 06:05:59
阅读次数：
310
在开发过程中，经常需要我们对表中的数据进行转移，如果在同台机器，可以使用SQL自带的导入数据，但是如果想让所有的数据生成可执行的SQL语句，它的移植性最强了。首先要设计一个存储过程。具体如下：CREATEPROCEDUREdbo.UspOutputData@tablenamesysnameASde....
分类：
数据库 时间：
2014-06-10 12:50:35
阅读次数：
291
今天碰到不少问题，记录一下。分割符的方向问题首先sqoop的参数要小心, 从数据库导出数据，写到HDFS的文件中的时候，字段分割符号和行分割符号必须要用--fields-terminated-by而不能是--input-fields-terminated-by--input前缀的使用于读文件的分割符号，便于解析文件，所以用于从HDFS文件导出到某个数据库的场景。两个方向不一样。参数必须用单引号括起...
分类：
其他好文 时间：
2014-06-08 03:23:09
阅读次数：
289
