码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop docker    ( 46925个结果
hadoop学习;hdfs操作;运行抛出权限异常: Permission denied;api查看源码方法;源码不停的向里循环;抽象类通过debug查找源码
package com.kane.hdfs; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; public class Test {...
分类:Windows程序   时间:2014-05-26 05:05:27    阅读次数:382
2014-5-22 java.lang.OutOfMemoryError: Java heap space的一次诊断
收到消息某系统一个节点由于内存溢出而宕机,系统的中间件是weblogic,数据库的oracle。       1. 先用IBM  HeapAnalyzer分析内存溢出时的dump文件,找到占用内存最多的请求,然后看代码。       2. 在走查代码发现,此类中的方法都特别简单,对单表的增删改查,有查询的地方都是非常简单,不会有操作大数据的情况,这样就排除了数据库方面的问题。       3...
分类:编程语言   时间:2014-05-26 04:54:58    阅读次数:333
Hadoop认知--在不同的阶段
记录在不同的学习使用阶段,个人对Hadoop的认识情况,当前入门阶段,介绍入门阶段对Hadoop的看法。...
分类:其他好文   时间:2014-05-26 03:18:12    阅读次数:275
Linux Mysql 1130错误解决
今天在win32下通过navicat 远程登录Mysql时出现如下错误:想都不用想,肯定是Mysql的访问权限问题。首先,通过终端(我用的是SSH)远程登录到Linux服务器,为了安全起见,先改一下Mysql数据的root用户密码:?1234567891011[plain] [hadoop@h1 ~...
分类:数据库   时间:2014-05-26 02:00:26    阅读次数:346
关于自编译hadoop eclipse 插件
由于在eclipse下开发hadoop程序需要插件支持,而且hadoop报下已经没有插件了,所以需要我们自己编译,操作步骤如下1.进入D:\hadoop-1.2.1\src\contrib目录,找到build-contrib.xml文件,将hadoop.root改为hadoop解压目录。<propertyname="hadoop.root"location="D:\hadoop-1..
分类:系统相关   时间:2014-05-25 04:58:25    阅读次数:298
hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
点击browserFilesystem,和命令查看结果一样 当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息 我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点: 就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-sit...
分类:Web程序   时间:2014-05-25 02:02:13    阅读次数:388
重要网络资源地址
【A JAVA】 【B JavaEE】 【C Android】 【D 前端】 【E 大数据】 【F Oracle】 【G 云计算】 【H Linux】 【I 计算机基础】 【J PM ITIL SOA】 【K Others】 【S 搜索引擎】 【Z 方法、人文】...
分类:其他好文   时间:2014-05-24 21:44:27    阅读次数:287
Hadoop备战:hdfs常用命令(可能有你不知道的)
除介绍的命令外,还有许多bin/hadoop.dfs命令,以上介绍的只是帮助你开始使用HDFS,运行bin/hadoop dfs不带任何参数会列出所有FsShell系统提供的命令,当你遇到问题时执行bin/hadoop dfs –help commandName会显示这个命令的用法。 下面是所有命令的介绍,介绍之前先定义一下参数的意义: 1.    斜体:表示用户输入的变量。 ...
分类:其他好文   时间:2014-05-24 19:47:01    阅读次数:338
惠普渠道重新回归
新生力量加入,老兵谱写新传。面对IT新型态带来的机遇与挑战,惠普渠道在聚齐精兵强将后,凭借充满吸引力的渠道计划和奖励政策,以及全新的面向IT新型态的销售工具,宣告那个久违了的强大的惠普渠道正重新回归。“IT新型态”,惠普不仅仅是喊喊新口号而已。除了发布云、大数据..
分类:其他好文   时间:2014-05-24 15:48:07    阅读次数:231
hadoop 基本命令
配置haoop全路径:gedit.profileexportPATH=/home/hadoop/hadoop/bin:$PATH自定义命令gedit.bashrcaliasfs=‘hadoopfs‘
分类:其他好文   时间:2014-05-24 15:25:19    阅读次数:254
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!