第一步：打开/etc 下面的 profile文件，在其中加入环境变量设置的代码doneJAVA_HOME=/home/hadoop/installer/jdk7u65PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HO...
分类：
其他好文 时间：
2014-07-22 08:04:37
阅读次数：
220
1.1 Spark交互式分析
运行Spark脚本前，启动Hadoop的HDFS和YARN。Spark的shell提供
了简单方式去识别API，同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力，分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。
进入Spark安装主目录，输入下面的命令，python命令行模式将会启动。
./bin/pysp...
分类：
其他好文 时间：
2014-07-22 00:29:38
阅读次数：
239
面对马化腾“挟微信以令诸侯”的威势，马云还了一记重拳反击。
7 月 18 日，阿里巴巴集团宣布此前收购的高德软件正式完成私有化进程，开始与阿里公司进行全面业务融合。未来，阿里将利用在大数据、电商、UC、神马搜索等移动互联网上的优势资源，帮助高德在地图、导航及移动生活服务领域继续深耕。
马云的棋局
显然，这是马云早就酝酿好的一盘棋。
不得不佩服，马云一盘棋下得...
分类：
其他好文 时间：
2014-07-22 00:29:36
阅读次数：
260
1. 前言2. 参考资料链接3. 使用介绍
3.1. 基本概念3.2. Tokyo Cabinet 简介3.3. 性能介绍3.4. tokyotyrant和Memcached的优势比较
3.4.1. 故障转移3.4.2. 日志文件体积小3.4.3. 超大数据量下表现出色
3.5. 安装
3.5.1. 编译安装tokyocabinet数据库3.5.2. 编译安装tokyotyra...
分类：
Web程序 时间：
2014-07-21 15:36:05
阅读次数：
471
1、Could not chdir to home directory /home/USER: Permission denied启动datanode时会报这个错误，尝试利用ssh登录datanode，发现需要密码。解决办法： 利用root权限修改/etc/sysconfig/selinux，将S....
分类：
其他好文 时间：
2014-07-21 14:27:28
阅读次数：
281
今天说点题外话,说一说郭敬明和他的《小时代》，我知道大家会觉得这斯和大数据有毛关系,不过细细琢磨这里的道道或许也有值得我们这些做企业或职场的朋友深思和借鉴的东西。冯小刚拍了N部贺岁片总票房不过30亿，张艺谋到现在总票房也就20亿，但初出茅庐跨界做导演的小郭拍了《小..
分类：
其他好文 时间：
2014-07-21 12:45:53
阅读次数：
200
1. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同输入数据集的优化方法。...
分类：
其他好文 时间：
2014-07-21 09:03:08
阅读次数：
329
巴西世界杯,德国队夺冠,首推主教练勒夫功不可没,还有场上所有队员的精彩表现,相信大家都没二话,我今天就说一说德国队背后的另一个功臣"MatchIn-sights".哈,"MatchIn-sights"可不是一个人的名称,是SAP为德国队量身定制的一款基于大数据的足球解决方案的电脑系统,堪称德国队的第1..
分类：
其他好文 时间：
2014-07-21 01:41:24
阅读次数：
281
转载自LANCEYAN.COM按照上一节中《搭建高可用mongodb集群（三）—— 深入副本集》搭建后还有两个问题没有解决：从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候能否做到自动扩展？在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持...
分类：
数据库 时间：
2014-07-20 22:29:20
阅读次数：
505
