码迷,mamicode.com
首页 >  
搜索关键字:大数据; hadoop; yarn    ( 25974个结果
hadoop;RPC;调用接口;cmd的jps查看java进程;有main方法的类才能产生进程
RPC(remote procedure call)不同java进程间的对象方法调用,一方称作服务端,一方称作客户端;被调用的对象的方法执行发生在server端 首先应该编写服务端MyServer,客户端MyClient,操作对象类MyBiz(根据服务端方法参数推测的),操作对象接口MyBizable(根据客户端方法参数推测的) 通过查看源码,一步步向里查看,直到没有return该方法出现...
分类:编程语言   时间:2014-05-26 05:34:16    阅读次数:471
hadoop学习;hdfs操作;运行抛出权限异常: Permission denied;api查看源码方法;源码不停的向里循环;抽象类通过debug查找源码
package com.kane.hdfs; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; public class Test {...
分类:Windows程序   时间:2014-05-26 05:05:27    阅读次数:382
2014-5-22 java.lang.OutOfMemoryError: Java heap space的一次诊断
收到消息某系统一个节点由于内存溢出而宕机,系统的中间件是weblogic,数据库的oracle。       1. 先用IBM  HeapAnalyzer分析内存溢出时的dump文件,找到占用内存最多的请求,然后看代码。       2. 在走查代码发现,此类中的方法都特别简单,对单表的增删改查,有查询的地方都是非常简单,不会有操作大数据的情况,这样就排除了数据库方面的问题。       3...
分类:编程语言   时间:2014-05-26 04:54:58    阅读次数:333
Hadoop认知--在不同的阶段
记录在不同的学习使用阶段,个人对Hadoop的认识情况,当前入门阶段,介绍入门阶段对Hadoop的看法。...
分类:其他好文   时间:2014-05-26 03:18:12    阅读次数:275
hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
点击browserFilesystem,和命令查看结果一样 当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息 我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点: 就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-sit...
分类:Web程序   时间:2014-05-25 02:02:13    阅读次数:388
Hadoop剖析之HDFS
Hadoop的分布式文件系统(HDFS)是Hadoop的很重要的一部分,本文先简单介绍HDFS的几个特点,然后再分析背后的原理,即怎样实现这种特点的。 HDFS特点 1、高容错性。这是HDFS最核心的特性了,把大量数据部署在便宜的硬件上,即使其中某些磁盘出现故障,HDFS也能很快恢复丢失的数据。 2、简单一致性。这个的意思是HDFS适合一次写入,多次读取的程序,文件写入后,就不需要修改了。像...
分类:其他好文   时间:2014-05-25 01:02:09    阅读次数:285
重要网络资源地址
【A JAVA】 【B JavaEE】 【C Android】 【D 前端】 【E 大数据】 【F Oracle】 【G 云计算】 【H Linux】 【I 计算机基础】 【J PM ITIL SOA】 【K Others】 【S 搜索引擎】 【Z 方法、人文】...
分类:其他好文   时间:2014-05-24 21:44:27    阅读次数:287
Hadoop备战:hdfs常用命令(可能有你不知道的)
除介绍的命令外,还有许多bin/hadoop.dfs命令,以上介绍的只是帮助你开始使用HDFS,运行bin/hadoop dfs不带任何参数会列出所有FsShell系统提供的命令,当你遇到问题时执行bin/hadoop dfs –help commandName会显示这个命令的用法。 下面是所有命令的介绍,介绍之前先定义一下参数的意义: 1.    斜体:表示用户输入的变量。 ...
分类:其他好文   时间:2014-05-24 19:47:01    阅读次数:338
惠普渠道重新回归
新生力量加入,老兵谱写新传。面对IT新型态带来的机遇与挑战,惠普渠道在聚齐精兵强将后,凭借充满吸引力的渠道计划和奖励政策,以及全新的面向IT新型态的销售工具,宣告那个久违了的强大的惠普渠道正重新回归。“IT新型态”,惠普不仅仅是喊喊新口号而已。除了发布云、大数据..
分类:其他好文   时间:2014-05-24 15:48:07    阅读次数:231
hadoop 基本命令
配置haoop全路径:gedit.profileexportPATH=/home/hadoop/hadoop/bin:$PATH自定义命令gedit.bashrcaliasfs=‘hadoopfs‘
分类:其他好文   时间:2014-05-24 15:25:19    阅读次数:254
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!