码迷,mamicode.com
首页 >  
搜索关键字:sql 优化 hive 大数据 hadoop    ( 146147个结果
hive基本操作
Hive是一个基于hadoop的数据仓库工具。Hive的查询语言是hive ql。一种类似sql的语言。 Hive支持的数据类型有 1整形: Tinyint  1字节整型 Smallint  2字节整型 Bigint   8字节整型   2.布尔型 Boolean   3浮点型  Float Double   4字符串类型 String   5.符合类型 ...
分类:其他好文   时间:2014-07-22 23:03:34    阅读次数:393
jdbc之二:DAO模式
1、创建Dao接口。 package com.ljh.jasonnews.server.dao; import java.sql.Connection; public interface Dao { public Connection getConnection() throws DaoException; } 2、创建BaseDao类,实现Dao接口,主要完成数据库的打开与关闭...
分类:数据库   时间:2014-07-22 23:02:55    阅读次数:483
sys用户,密码文件 dba权限的关系
oracle@ywdb ~]$ sqlplus "/as sysdba" SQL*Plus: Release 11.1.0.7.0 - Production on Tue Apr 29 15:40:38 2014 Copyright (c) 1982, 2008, Oracle. All rights reserved. Connected to: Oracle Data...
分类:数据库   时间:2014-07-22 23:01:54    阅读次数:435
Hadoop AWS Word Count 例子
在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序:import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; ...
分类:其他好文   时间:2014-07-22 23:01:32    阅读次数:405
HDU 3415 Max Sum of Max-K-sub-sequence 最长K子段和
链接:http://acm.hdu.edu.cn/showproblem.php?pid=3415 题意:给出一个数环,要找出其中9长度小于等于K的和最大的子段。 思路:不能采用最暴力的枚举,题目的数据量是10^5,O(N^2)的枚举回去超时,本题采用的很巧妙的DP做法,是用单调队列优化的DP。 运用的是STL的deque,从i:1~a找到以其中以i为尾的符合条件的子段,并将i本身放入双向队...
分类:其他好文   时间:2014-05-01 08:32:53    阅读次数:324
用hadoop实现SimRank++算法(1)----权值转移矩阵的计算
本文主要针对广告检索领域的查询重写应用,根据查询-广告点击二部图,在MapReduce框架上实现SimRank++算法,关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。 SimRank++的矩阵形式的计算公式为: 算法主要步骤如下: Step1: 计算权值矩阵,并获取最大Query编号和最大广告编号; Step2:...
分类:其他好文   时间:2014-05-01 08:21:53    阅读次数:527
数据库之查询的连接方式
sql(结构化查询语言)有数据定义功能,数据查询功能,数据操作功能,数据控制功能。我们平常所说的增删改查就是sql这些功能的更加简洁的说法。现在就"查"来介绍几种常用的连接方式。...
分类:数据库   时间:2014-04-30 22:38:38    阅读次数:298
统计分析SQL Server Profiler 跟踪的SQL
--跟踪文件读入到表中分析 SELECT * INTO ZGSJY FROM fn_trace_gettable('E:\wxxcdbprofiler.trc', default); --某时间内,最耗时SQL select TOP 100 SUBSTRING(Textdata,1,660) as '名称', count(*) as '数量', sum(duration/1000) as '总执行...
分类:数据库   时间:2014-04-30 22:37:39    阅读次数:327
SQL编码中注意的性能问题
1、选择合适的数据类型 为列选择最小化的数据类型 如果一列中的文本长度不一,使用VARCHAR而不是CHAR 不存储Unicode不要使用NVARCHAR或者NCHAR 如果一行的长度不超过8000,使用VARCHAR而不是TEXT 对于仅存数字的列要使用数字类型而不要用字符类型 不要使用字符串类型存储日期数据。 2、谨慎使用触发器 保持触发器内的代码最小化 可能的情况下尽量用其...
分类:数据库   时间:2014-04-30 22:24:38    阅读次数:334
Oracle 学习笔记 16 -- 游标(PL/SQL)
在PL/SQL程序中,对于处理多行记录的事务经常使用游标来实现。...
分类:数据库   时间:2014-04-30 22:16:38    阅读次数:332
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!