由于从官网下载的hadoop中依赖包native hadoop
library是基于32位版本的，在64位机器上安装，会出现以下错误：2014-05-30 19:47:49,703 INFO
org.apache.hadoop.hdfs.server.datanode.DataNode: regis...
分类：
其他好文 时间：
2014-06-06 23:38:29
阅读次数：
494
Spark1.0.0
release于2014-05-30日正式公布，标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性，并提供了更好的API支持；Spark1.0.0添加了Spark
SQL这一个新的重要组件，用于载入和操作Spark的结构化数据；Spark1.0....
分类：
其他好文 时间：
2014-06-06 23:26:39
阅读次数：
295
core-site.xml:fs.default.name:hdfs://hadoop:9000fs.tmp.dir:/usr/local/hadoop/tmphdfs-site.xml:dfs.name.dir:dfs.name.edits.dir:eidtsdfs.replication
分类：
其他好文 时间：
2014-06-04 14:40:40
阅读次数：
254
11.2.4 大数据量网络图片列表的异步加载和内存优化 虚拟化技术可以让Windows
Phone上的大数据量列表不必担心会一次性加载所有的数据，保证了UI的流程性。对于虚拟化的技术，我们不仅仅只是依赖其来给列表加载数据，还可以利用虚拟化的特性去做更多的事情。虚拟化技术有一个很重要的特性就是，它可以...
在本月20—23日我代表山东大学（威海）参加了在北京国家会议中心隆重召开的第六届云计算大会。在本次汇集了国内外众多专家学者的高端峰会中感触良多，也收获颇丰！
当下，在IT学术界和产业界以及广大普通用户的共同努力下，云计算在中国已经有了显著的进步和提高，业内对云计算的认识更加的准确到位，云计算的运用规模也在不断的加大和扩展，专用云也在各个领域得到广泛应用和拓展。与其相辅相成的大数据也带给了大...
分类：
其他好文 时间：
2014-06-02 15:33:28
阅读次数：
234
Spark1.0.0 release于2014-05-30日正式发布，标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性，并提供了更好的API支持；Spark1.0.0增加了Spark SQL这一个新的重要组件，用于加载和操作Spark的结构化数据；Spark1.0.0增强了现有的标准库（ML，streaming，GraphX??），同时还增强了Java和Python语言的...
分类：
其他好文 时间：
2014-06-02 15:11:10
阅读次数：
313
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库
1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_shenbin/article/details/7105319
2. HBase...
分类：
其他好文 时间：
2014-06-02 10:33:40
阅读次数：
277
http://zhangsa.net/baike/hulianwangsiwei.html互联网思维精髓大总结：1、用户思维；2、简约思维；3、极致思维；4、迭代思维；5、流量思维；6、社会化思维；7、大数据思维；8、平台思维；9、跨界思维。课前秀：三个段子第一个段子：一个毫无餐饮行业经验的人开了一...
分类：
其他好文 时间：
2014-06-02 07:55:24
阅读次数：
278
hadoop yarn的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类：
其他好文 时间：
2014-06-02 02:27:16
阅读次数：
332
x86台式机，window7 64位系统
wmware虚拟机(x86的台式机至少是4G内存，才能开2台虚机)
centos6.4操作系统
hadoop-2.2.0.tar.gz
jdk-6u24-linux-i586.bin
WinScp 远程文件传输工具，很好用。可以用于windows和虚拟机Linux之间文件相互拷贝。...
分类：
其他好文 时间：
2014-06-02 02:23:23
阅读次数：
315
