码迷,mamicode.com
首页 >  
搜索关键字:hadoop 性能调优    ( 15126个结果
进程和cpu的相关知识和简单调优方案
进程就是一段执行的程序,每当一个程序运行时,对于操作系统本身来说,就创建了一个进程,并且分配了对应的资源。进程可以分为3个类别:     1.交互式进程(I/O)     2.批处理进程 (CPU)     3.实时进程 (REAL-TIME)          对于交互式进程来说,一般其占用的cpu时间片很段,但是优先级偏高;批处理进程占用的cpu时间片很长,但是优先级偏底;实时进程是...
分类:其他好文   时间:2014-06-19 11:37:32    阅读次数:334
性能问题解决案例01——sybase数据库内存问题
最近现场反馈问题,所有电子签章页面打不开文书(pdf格式),后台日志没报任何错误,效果就是空白:     1、首先想到是签章的ocx控件问题,检查ocx控件安装,发现其他电脑也打不开文书,测试页面可以直接打开pdf文档,排除控件的问题。     2、怀疑是文书下载出问题了,检查文书下载功能,我们是把pdf文书下载到本地“我的文档”目录中,然后使用ocx控件打开文书,检查发现有的 3、ftp下载有2步,先去数据库中查询到ccbh,再根据ccbh从ftp下载,检查发现下载没问题,查询ccbh非常慢,最快...
分类:数据库   时间:2014-06-19 10:06:39    阅读次数:294
Hadoop 分布式环境搭建
Hadoop 分布式环境搭建一、前期环境安装概览IPHost NameSoftwareNode192.168.23.128ae01JDK 1.7NameNode, SecondaryNameNode, DataNode,JobTracker, TaskTracker192.168.23.129ae0...
分类:其他好文   时间:2014-06-16 07:43:06    阅读次数:214
在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数
近期開始使用MapReduce,发现网上大部分样例都是对文本数据进行处理的,也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理就可以。对于文本数据处理,这个类还是能满足一部分应用场景。可是假设要处理以二进制形式结构化记录存储的文件时,这些类就不再适合了。本文以一个简单的应用...
分类:其他好文   时间:2014-06-16 06:14:38    阅读次数:297
分布式Hadoop安装(二)
集群环境安装Zookeeper
分类:其他好文   时间:2014-06-15 23:49:42    阅读次数:393
reduce个数到底和哪些因素有关
reduce的个数到底和什么相关,本问题详细阐述了这个问题...
分类:其他好文   时间:2014-06-14 00:05:03    阅读次数:362
apache的hadoop升级到CDH hadoop2.0时遇到的问题及解决
1:引入的jar包1.X版本有hadoop-core包;而2.x没有如果你需要hdfs就引入\share\hadoop\common\lib +hadoop-common-2.0.0-cdh4.6.0.jar +hadoop-hdfs-2.0.0-cdh4.6.0.jar +\share\hadoo...
分类:其他好文   时间:2014-06-12 13:59:33    阅读次数:255
Hadoop实例练习(二)
实例描述:现有两个文件,dedu1.txt和dedu2.txt,数据文件中的每一行都是一个数据,现要对这两个文件进行去重,两个文件内容分别为(同颜色的表示重复的数据):dedu1.txt:dedu2.txt:2012-3-1a2012-3-1b2012-3-2b2012-3-2a2012-3-3c2012-3-3b2012-3-4d2012-3-4d2012-3-5a2012..
分类:其他好文   时间:2014-06-10 22:21:15    阅读次数:208
Eclipse 导入 Hadoop 源码
1.准备工作jdk:eclipse:Maven:libprotoc :https://developers.google.com/protocol-buffers/hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/添加开源中国mave...
分类:系统相关   时间:2014-06-10 17:07:37    阅读次数:356
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!