码迷,mamicode.com
首页 >  
搜索关键字:hadoop 大数据 云计算    ( 28457个结果
消除数据安全隐患对云计算发展至关重要
云安全不是短期问题,云计算想要继续和长期发展,数据安全问题绝不容小视,本文的这些方法,究其根本,数据本源的安全防护是最重要的。所以在采用云技术的同时,采用具有针对性且能灵活应对的加密技术进行核心数据防护应是一个有效的选择。 云计算能够使用虚拟机完成业务集中化管理,因此多数企业选择云计算的初衷是...
分类:其他好文   时间:2014-07-09 18:00:36    阅读次数:176
通过 Autostereograms 案例学习 OpenGL 和 OpenCL 的互操作性
引言 在过去的十年里, GPU (图形处理单元)已经从特殊硬件(特供)转变成能够在数值计算领域开辟新篇章的高性能计算机设备。 很多算法能够使用拥有巨大的处理能力的GPU来快速运行和处理大数据量。即使在通常的情况下,不可能将图形硬件编程化, 图形硬件也能够加快算法与图像的处理。 举个样例:通常情况下能...
分类:其他好文   时间:2014-07-09 16:46:20    阅读次数:372
Memcache存储大数据的问题
Memcache存储大数据的问题huangguisu Memcached存储单个item最大数据是在1MB内,假设数据超过1M,存取set和get是都是返回false,并且引起性能的问题。我们之前对排行榜的数据进行缓存,因为排行榜在我们全部sql select查询里面占了30%,并且我们排行榜每小时...
分类:其他好文   时间:2014-07-09 16:26:50    阅读次数:190
Hadoop分布式平台的大数据解决方案
Hadoop分布式平台的大数据解决方案 讲师:迪伦 对这个课程有兴趣的可以加我qq2059055336联系我 1 课程背景 GREENPLUM适用场景 Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中,每个 SMP 节点也可以运行自己的操作系统、数据库等,它的特点主要就是查询速度快,数据装载速度快,批量DML处理快。而且性能可以随着硬件的添加,呈线性增加...
分类:其他好文   时间:2014-07-09 11:36:26    阅读次数:205
EEPlat 的数据层模式
EEPlat 的数据库底层架构能够同时支持多种数据库的集成应用,同时可以支持分布式数据库的集成应用...
分类:其他好文   时间:2014-07-09 10:56:15    阅读次数:180
HDFS 读取、写入、遍历目录获取文件全路径
1、从HDFS中读取数据 Configuration conf = getConf(); Path path = new Path(pathstr); FileSystem fs = FileSystem.get(conf); FSDataInputStream fsin= fs.open(path ); BufferedReader br =null; Strin...
分类:其他好文   时间:2014-07-09 09:17:40    阅读次数:290
hbase java sample
通过HBaseAdmin维护表(创建,删除表)importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.hbase.HBaseConfiguration; importorg.apache.hadoop.hbase.HColumnDescriptor; importorg.apache.hadoop.hbase.HTableDescriptor; importorg.apache.hadoop.hbase...
分类:编程语言   时间:2014-07-09 08:28:58    阅读次数:170
yarn RM crash问题一例
今天收到线上的resourcemanager报警:报错信息如下:2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.util.AbstractLivelinessMonitor:Expired:xxxx:53356Timedoutafter600secs 2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl..
分类:其他好文   时间:2014-07-09 08:21:41    阅读次数:436
移动前端开发之数据库操作篇
在移动平台开发中,经常会有大数据存储与交互的操作,在以webkit为内核的浏览器中,提供了一个叫作WEBSQL的数据库。这让我们前端也可以像php等程序语言一样,进行数据库的读写操作。Web Storage存储本地数据的方法目前可以在许多主流浏览器、平台与设备上实现,与之相关的API也已经标准化,但...
分类:移动开发   时间:2014-07-08 22:42:51    阅读次数:242
Hadoop教程(一)
英文原文:cloudera,编译:ImportNew–Royce WongHadoop从这里开始!和我一起学习下使用Hadoop的基本知识,下文将以Hadoop Tutorial为主体带大家走一遍如何使用Hadoop分析数据!这个专题将描述用户在使用Hadoop MapReduce(下文缩写成MR)...
分类:其他好文   时间:2014-07-08 11:38:11    阅读次数:315
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!