码迷,mamicode.com
首页 >  
搜索关键字:hadoop pid    ( 30318个结果
centOS下msyql启动错误-Multiple MySQL running but PID file could not be found
今天在centOS下装mysql时出现了一个错误: 解决方案就是如图所示kill 4734 kill 4839 最后再执行[root@localhost src]# service mysql start就可以了...
分类:数据库   时间:2014-06-05 02:03:02    阅读次数:409
HDSF主要节点讲解(二)工作原理
hadoop数据写入和读之原理分析...
分类:其他好文   时间:2014-06-05 00:58:34    阅读次数:233
在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数
最近开始使用MapReduce,发现网上大部分例子都是对文本数据进行处理的,也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理,这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时,这些类就不再适合了。 本文以一个简单的应用场景为例:对按照二进制格式存储的整数做频数统计。以此来说明如何重写FileInputFormat来实现对非文本数据的处理。...
分类:其他好文   时间:2014-06-04 21:53:46    阅读次数:341
/bin/bash: line 0: fg: no job control一般解决方法
测试版本:CDH5.0,(Hadoop2.3)在使用windows调用Hadoop yarn平台的时候,一般都会遇到如下的错误:2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with co...
分类:其他好文   时间:2014-06-03 06:26:17    阅读次数:277
Hadoop与HBase中遇到的问题(续)java.io.IOException: Non-increasing Bloom keys异常
在使用Bulkload向HBase导入数据中, 自己编写Map与使用KeyValueSortReducer生成HFile时, 出现了下面的异常: java.io.IOException: Non-increasing Bloom keys: 201301025200000000000003520000000000000500 after 20131119510000000000000001...
分类:编程语言   时间:2014-06-03 05:55:44    阅读次数:359
erlang如何有效监听大量并发连接
看了erlang的一些开源网络框架RabbitMQ、Ranch,他们都使用多个进程同时accept一个socket。这种方式在使得socket端口监听的工作分担了更多的调度机会,但是,在erlang中,socket接受一个新连接后,如果想让另一个进程处理消息,就要显式的调用gen_tcp:controlling_process(Socket, Pid)。所以问题来了,erlang多个进程同时监听一个socket安全吗?文章将会重点讨论这个问题及对这个问题做优化。...
分类:其他好文   时间:2014-06-03 03:52:52    阅读次数:218
浅谈hadoop中mapreduce的文件分发
DistributedCache 是一个提供给Map/Reduce框架的工具,用来缓存文件(text, archives, jars and so on)...
分类:其他好文   时间:2014-06-03 02:18:37    阅读次数:332
[简单博弈] hdu 1525 Euclid's Game
题目链接: http://acm.hdu.edu.cn/showproblem.php?pid=1525 Euclid's Game Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 1832    Accepted S...
分类:其他好文   时间:2014-06-03 01:38:06    阅读次数:255
Hbase在数据统计中的应用心得
1. 数据统计的需求 互联网上对于数据的统计,一个重要的应用就是对网站站点数据的统计,例如CNZZ站长统计、百度统计、Google Analytics、量子恒道统计等等。 网站站点统计工具无外乎有以下一些功能: 1)网站流量统计:包括PV、UV、IP等指标,这些统计指标可以以趋势图的形式展示出来,如最近一周、最近一个月等。 2)IP来源信息统计:记录各个来源IP下的访问PV...
分类:其他好文   时间:2014-06-03 01:33:36    阅读次数:226
Hadoop YARN资源隔离技术
YARN对内存资源和CPU资源采用了不同的资源隔离方案。对于内存资源,它是一种限制性资源,它的量的大小直接决定应用程序的死活,因为应用程序到达内存限制,会发生OOM,就会被杀死。CPU资源一般用Cgroups进行资源控制,Cgroups控制资源测试可以参见这篇博文Cgroups控制cpu,内存,io...
分类:其他好文   时间:2014-05-31 18:47:58    阅读次数:264
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!