以后spark,mapreduce,mpi可能三者集于同一平台,各自的侧重点有所不用,相当于云计算与高性能计算的集合,互补,把spark的基础看了看,现在把开发环境看看,主要是看源码,最近Apache Spark源码走读系列挺好的,看了些。具体环境配置不是太复杂,具体可以看https://githu...
分类:
其他好文 时间:
2014-06-25 11:44:47
阅读次数:
185
微软近期Open的职位:Job Summary:Be part of Microsoft’s strategy to deliver a great input experience across the Microsoft platforms! We are looking for an expe...
分类:
其他好文 时间:
2014-06-25 11:13:03
阅读次数:
257
Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。Impala 为存储在 HDFS 和 HBase 中的数据提供了一个实时 SQL 查询接口。...
分类:
其他好文 时间:
2014-06-25 10:56:38
阅读次数:
355
出现javawasstartedbutreturnedexitcode=14的问题,原因是javaw.exe出问题了,重新配置一下eclipse.ini就可以了。配置如下:添加红色部分,javaw.exe的路径根据自己的情况填写
分类:
编程语言 时间:
2014-06-25 10:20:23
阅读次数:
367
Well , you know. As a college student who want to find a good job after graduating like me , scores are not that important. I just want to have some low scores which can help me graduate successfully...
分类:
其他好文 时间:
2014-06-25 09:59:37
阅读次数:
202
问题导读:1. 推荐系统概述;2. 推荐系统指标设计;3. Hadoop并行算法;4. 推荐系统架构;5. MapReduce程序实现。前言Netflix电影推荐的百万美金比赛,把“推荐”变成了时下最热门的数据挖掘算法之一。也正是由于Netflix的比赛,让企业界和学科界有了更深层次的技术碰撞。引发...
分类:
其他好文 时间:
2014-06-25 09:46:57
阅读次数:
329
部署安装了最新稳定版hadoop2.2.0,然后在网上找来fuse-dfs编译教程,但是最后失败了,至今原因未知~~,错误描述为:Transport endpoint is not connected。后将安装部署hadoop1.2.1版本,最后测试成功,记录如下:
使用root完成一下操作:
1、安装依赖包
apt-get install autoconf automake libtool...
分类:
其他好文 时间:
2014-06-25 08:17:08
阅读次数:
302
Eclipse - Eclipse实用插件集合...
分类:
系统相关 时间:
2014-06-25 07:11:06
阅读次数:
837
使用RE文件管理器把data文件夹的权限更改为可读写,问题就解决了...
分类:
系统相关 时间:
2014-06-25 07:01:43
阅读次数:
261
packagecom.smilezl.learn.CalWord;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hado..
分类:
其他好文 时间:
2014-06-25 06:28:59
阅读次数:
242