Hadoop的各个组件是通过XML配置的。
2.0以后，配置文件的位置发生了小变化，我安装的Hadoop 2.4.1，配置文件的位置在$HADOOP_INSTALL/etc/hadoop/
在初期运行MapReduce DEMO时，我们只需关注三个基本配置就好：
core-site.xml
hdfs-site.xml
yarn-site.xml(2.0后的版本，MapReduce运行在y...
分类：
其他好文 时间：
2014-08-18 14:33:26
阅读次数：
272
这篇文章是我的【iOS开发每日小笔记】系列中的一片，记录的是今天在开发工作中遇到的，可以用很短的文章或很小的demo演示解释出来的小心得小技巧。该分类的文章，内容涉及的知识点可能是很简单的、或是用很短代码片段就能实现的，但在我看来它们可能会给用户体验、代码效率得到一些提升，或是之前自己没有接触过的技...
分类：
移动开发 时间：
2014-08-18 00:12:33
阅读次数：
401
前面提到的是基本的菜单使用，还是很容易的，不过我们在商业产品中，经常看到的按钮都是非常好看，不光光是图片做得精美，而且动画效果也很棒。Candy Crash都玩过吧，看它们那个按钮，真的像果冻一样，效果确实很赞，所以我们也来做个，当然不是它那个效果，而且点击之后有一个抖动的效果。像这样，
好了，开始做个吧，我这个也是搬了一下coinflip中的按钮代码，算是学习一下。
创建一个...
分类：
其他好文 时间：
2014-08-17 21:22:12
阅读次数：
365
近日新写完的spark任务放到yarn上面执行时，在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn...
分类：
其他好文 时间：
2014-08-17 21:08:52
阅读次数：
890
我的测试环境是三台机器分别是Hadoop-Yarn.Hark.Com 192.168.1.200Hadoop-Slave1.Hark.Com 192.168.1.201Hadoop.Slave2.Hark.Com 192.168.1.202我为了自己能充分练习hadoop 64位源码编译，所以三台机...
分类：
其他好文 时间：
2014-08-17 15:29:52
阅读次数：
236
上一节以WordCount分析了MapReduce的基本执行流程，但并没有从框架上进行分析，这一部分工作在后续慢慢补充。这一节，先剖析一下任务提交过程。MapReduce集群包含一个JobTracker和多个TaskTracker，这里先不考虑YARN，仍然依据1版本进行分析。一个MapReduce...
分类：
其他好文 时间：
2014-08-17 02:20:01
阅读次数：
320
最近项目开发中，临时被调去修复一个页面返回时crash的问题。出现这个问题的原因也很巧合，正好服务地址在同事电脑上，也正巧网络请求响应时间狂慢！一个请求发出去回来的时间是40秒左右，要是在线上，肯定会让用户抓狂死！ 当我打开项目的时候，点击页面返回时，发现网络请求依然在请求中，第一感觉就是内存...
分类：
其他好文 时间：
2014-08-16 11:00:30
阅读次数：
191
hadoop yarn里用了RPC调用。NM里面文件本地化类ContainerLocalizer用RPC心跳方式跟本机的ResourceLocalizationService通信。用shared memory还要调到native层去，不知道会不会比tcp/ip快？可以用文件，考虑锁的问题。但是文件貌...
分类：
其他好文 时间：
2014-08-15 22:22:39
阅读次数：
220
1.保留发布程序的 .app文件 和 .dSYM文件 连同.crash文件放在同一个文件家里面。2.在/Applications/Xcode.app/Contents/Developer/Platforms/iPhoneOS.platform/Developer/Library/PrivateFra...
分类：
移动开发 时间：
2014-08-15 17:39:29
阅读次数：
206
Linux下修改图片格式
在终端上安装imagemagick
sudo apt-get install imagemagick
cd到相应的图片所在目录
#把 .png 转到 .jpg
convert *.png *.jpg
rm -r *.png...
分类：
系统相关 时间：
2014-08-15 00:08:06
阅读次数：
405
