码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop docker    ( 46925个结果
SQL SERVER大数据分页
select*from(selectrownumr,a.*from(select*fromtable_nameorderbyndatetimedesc)awhererownum(currentPage-1)*pageSize
分类:数据库   时间:2014-06-09 22:55:20    阅读次数:247
hadoop备记
Hadoop 的优势Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发执行处理海量数据的应用程序。它主要有下面几个长处:1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。2.高...
分类:其他好文   时间:2014-06-09 15:48:27    阅读次数:201
WebHdfs
https://github.com/ihrwein/webhdfshttps://tiborbenke.blogs.balabit.com/2013/11/the-syslog-ng-in-the-hadoop-era/https://github.com/prezi/logboxhttp://d...
分类:Web程序   时间:2014-06-09 14:54:45    阅读次数:198
【转】百亿级实时大数据分析项目,为什么不用Hadoop?
百亿数量级的大数据项目,软硬件总体预算只有30万左右,需求是进行复杂分析查询,性能要求多数分析请求达到秒级响应。 遇到这样的项目需求,预算不多的情况,似乎只能考虑基于Hadoop来实施。 理论上Hadoop撑住百亿数量级没问题,但想要秒级响应各种查询分析就不行了。我们先大概分析一下Hadoop的优缺...
分类:其他好文   时间:2014-06-09 14:32:39    阅读次数:509
C语言超大数据相加计算整理
在做ACM 1002题时,整理得到。#include#include#define MAX 1000void zero(char *s,int len){ int i; for(i=0;i20) ; for(i=0;iblen?alen:blen; for(j=0;j=0)&&(j>=0);j--....
分类:编程语言   时间:2014-06-09 14:10:01    阅读次数:328
Hbase入门
Hbase简介 Hbase 全称是Hadoop DataBase ,是一种开源的,可伸缩的,高可靠,高性能,面向列的分布式存储系统。 类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,而Hbase支持一级和二级索...
分类:其他好文   时间:2014-06-08 18:24:32    阅读次数:563
newLISP list操作
构建一个list注意要标记不要求值,比如用‘ 或者list> (list "a" "b" "c") ("a" "b" "c")或者> '("a" "b" "c") ("a" "b" "c") 查找在一个全是string的list中用正则表达式查找查找第一个匹配到的元素:> (set 'l '("WARNING: org.apache.hadoop.metrics.jvm.EventCounter...
分类:其他好文   时间:2014-06-08 16:23:41    阅读次数:243
使用sqoop将MySQL数据库中的数据导入Hbase
使用sqoop将MySQL数据库中的数据导入Hbase 前提:安装好 sqoop、hbase。 下载jbdc驱动:mysql-connector-java-5.1.10.jar 将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下 MySQL导入HBase命令: sqoop import --connect j...
分类:数据库   时间:2014-06-08 08:23:30    阅读次数:408
Greenplum query Oracle via DLINK
在系统日常生产过程中,如何从Oracle数据库同步一些配置表到GP库个问题。 先来说说之前使用的方式: 0. 使用第3方工具从Oracle导出纯文本格式,存放在本地; 1. 使用GP外部表加载入库 这种方式优点是对于需要同步大数据量的表的时候性能非常高;缺点是稍显麻烦,最主要的是非实时的,存在着任务调度周期和导出导入时间周期。 对此我的解决办法是简化整个过程并实时查询: 0. ...
分类:数据库   时间:2014-06-08 05:46:35    阅读次数:251
org.apache.hadoop.hbase.MasterNotRunningException解决策略
运行HBase时常会遇到个错误,我就有这样的经历。  ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times 检查日志:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类:其他好文   时间:2014-06-08 03:02:50    阅读次数:395
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!