码迷,mamicode.com
首页 >  
搜索关键字:分布式 hadoop 集群    ( 51515个结果
Memcached 内存级缓存
Memcached在大型网站中应用 memcached是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图像、视 频、文件以及数据库检索的结果等。最初为了加速 LiveJournal 访问速度而开发的,后来被很多大型的网站采用。起....
分类:其他好文   时间:2014-05-23 07:04:22    阅读次数:368
Hive 自定义函数(转)
Hive是一种构建在Hadoop上的数据仓库,Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业,是MapReduce更高层次的抽象,不用编写具体的MapReduce方法。Hive将数据组织为表,这就使得HDFS上的数据有了结构,元数据即表的模式,都存储在名为meta....
分类:其他好文   时间:2014-05-23 05:54:55    阅读次数:1771
Oracle本地,远程,分布式登录
identify认证,确定; identity同一性,个性;本地连接 sqlplus scott/tiger@localhost:1521/orcl 这句话就等于sqlplus scott/tiger远程连接(虚拟机上的oracle) sqlplus scott/tiger@192.168.56.1...
分类:数据库   时间:2014-05-23 05:16:27    阅读次数:290
hadoop 中对Vlong 和 Vint的压缩方法
hadoop 中对java的基本类型进行了writeable的封装,并且所有这些writeable都是继承自WritableComparable的,都是可比较的;并且,它们都有对应的get() 和 set()方法,其中对整型(int 和 long)进行编码的时候,有固定长度格式(intWritabl...
分类:其他好文   时间:2014-05-23 03:10:15    阅读次数:207
2.1 Hadoop Eclipse Plugin 配置及安装
Hadoop Eclipse 开发工具 主要分为1、根据Hadoop版本生成插件2、安装Hadoop Eclipse插件3、配置Hadoop目录4、配置Hadoop连接5、新一个MapReduce工程WordCount.javaMapReduce——WordCount问题总结参考:http://bl...
分类:系统相关   时间:2014-05-23 02:44:30    阅读次数:354
Hadoop学习笔记目录
Hadoop 运行环境准备运行环境部署结构介绍Linux CentOS6.5安装(Hadoop环境配置)Linux 常用远程管理工具介绍SSH免密码登录配置Hadoop安装及配置Hadoop验证-WordCount执行Hadoop开发工具准备Hadoop Eclipse Plugin配置安装及验证H...
分类:其他好文   时间:2014-05-23 02:41:15    阅读次数:211
Hadoop-2.2.0中文文档——Common-Hadoop HTTP web控制台认证
简介 此文档描述了如何配置Hadoop HTTP web控制台,去要求用户认证。 默认地,Hadoop HTTP web控制台(JobTracker, NameNode, TaskTrackers 和 DataNodes)不需要任何认证就允许访问。 与Hadoop RPC相似, Hadoop HTTP web控制台可以被配置为需要使用HTTP SPNEGO协议认证(由FireFo...
分类:Web程序   时间:2014-05-22 23:40:12    阅读次数:347
MapReduce 气象数据集
通过MapReduce程序分析气象数据集,更好的了解计算过程。环境:Hadoop 1.2.1 & Centos 6.5 x641、气象数据集准备下载链接:ftp://ftp3.ncdc.noaa.gov/pub/data完整数据集非常大,可以下载部分数据集作为日常实验数据。2、气象数据上传到HDFS...
分类:其他好文   时间:2014-05-22 15:39:14    阅读次数:361
分布式缓存
一.为什么选择redis在项目中使用redis做为缓存,还没有使用memcache,考虑因素主要有两点:1.redis丰富的数据结构,其hash,list,set以及功能丰富的String的支持,对于实际项目中的使用有很大的帮忙。(可参考官网redis.io)2.redis单点的性能也非常高效(利用...
分类:其他好文   时间:2014-05-22 15:25:38    阅读次数:324
2.2 Hadoop Studio 使用 [Hadoop学习笔记]
Hadoop Studio 是一个 map-reduce 结构的集成开发环境,基于NetBeans。你可以利用它来方便快速的创建基于Hadoop的 map-reduce 应用。该工具提供了一个实时的map-reduce任务的工作流视图,可以显示任务之间独立的输入输出和交互,而且该视图在代码修改时会实...
分类:其他好文   时间:2014-05-22 15:06:10    阅读次数:302
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!