目前真机调试时遇到以下问题。
Undefined symbols for architecture arm64:
"_png_get_io_ptr", referenced from:
cocos2d::(anonymous namespace)::pngReadCallback(png_struct_def*, unsigned char*, unsigned long) in...
分类：
其他好文 时间：
2014-11-20 15:25:07
阅读次数：
296
一句话，Hive 开发比 Pig快多了... 从hdfs读取数据：Hive: CREATE EXTRENAL TABLE IF NOT EXIST (domain string, num int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' loc...
分类：
其他好文 时间：
2014-11-20 13:27:34
阅读次数：
174
hadoop有两个东东：HDFS（存储）和MapReduce（计算）。MapReduce计算比较慢，于是Spark（速度是MR的10~100倍）出现了。Spark有两个核心的概念：弹性分布式数据集RDD与共享变量。下面进行一下简单的介绍。
弹性分布式数据集（RDD）获得方式：1
并行化驱动程序内的集合; 2
从外部数据集加载。
1 并行化驱动程序内的集合code demo
val d...
分类：
其他好文 时间：
2014-11-20 12:05:17
阅读次数：
296
1.关于run on hadoop的问题：
在未用hadoop eclipse插件前，我以为通过hadoop eclipse 插件不但可以管理hdfs，还可以自动打包程序，并帮我自动设置Configuration对象的mapred.jar属性值。但用了之后，才发现，这个插件只能管理hdfs，至于打包程序等操作，还得自己手动进行。我用的hadoop 版本为1.2.1，hadoop eclipse插...
分类：
其他好文 时间：
2014-11-20 12:04:27
阅读次数：
204
最近要在hadoop2.4上面上线hdfs raid，但是之前hdfs raid是作为svn 的branch开发的，领导希望通过patch的方式将hdfs raid功能打进trunk里面去，这里涉及到svn branch和trunk的合并问题，以下是hdfs raid 打patch的具体过程。...
分类：
其他好文 时间：
2014-11-20 11:58:52
阅读次数：
237
upgrade小结：1.dfsadmin-upgradeProgressstatus在cdh5.2.0中没有，在4.6.0有（见源码org.apache.hadoop.hdfs.tools.DFSAdmin）升级的时候不能通过这个看到升级状态rollingUpgrade这个参数在4.6.0中不存在，在5.2.0中有，可以用于滚动升级2.在cdh5.2.0中执行upgrade,nn中调用的..
分类：
其他好文 时间：
2014-11-20 01:40:36
阅读次数：
268
Hadoop读书笔记（三）Java API操作HDFS
多种方法诠释，注释清晰，史上最全咯！...
分类：
编程语言 时间：
2014-11-20 00:10:32
阅读次数：
245
hadoop是一个分布式的基础架构，利用分布式实现高效的计算与储存，最核心的设计在于HDFS与MapReduce，HDFS提供了大量数据的存储，mapReduce提供了大量数据计算的实现，通过Java项目实现hadoop job处理海量数据解决复杂的需求。
一、基本环境及相关软件的配置
详细配置说明：基本环境配置及权限申请
二、hadoop项目开发流程
hadoop主要的...
分类：
其他好文 时间：
2014-11-19 18:49:25
阅读次数：
175
方式一: hadoop命令导出hadoop fs -get hdfs://hadoop000:8020/data/page_views2 pv2方式二:通过insert...directory导出 【spark暂不支持】导出到本地：INSERT OVERWRITE LOCAL directory.....
分类：
其他好文 时间：
2014-11-19 18:12:24
阅读次数：
181
第三步：测试Spark集群 把Spark安装包下的”README.txt”上传到 通过hdfs的web控制台可以发现成功上传了文件： 使用“MASTER:spark://SparkMaster:7077?./spark-shell”命令启动Spark?shell： 接下来通过以下命...
分类：
其他好文 时间：
2014-11-19 14:21:03
阅读次数：
211
