1.启动hadoop守护进程 bin/hadoop start-all.sh2.在hadoop的bin目录下建立一个input文件夹 mkdire input3.进入input目录之后，在input目录下新建两个文本文件，并想其写入内容echo "hello excuse me fuck thank...
分类：
其他好文 时间：
2014-07-18 23:39:00
阅读次数：
350
测试hadoop版本：2.4 Map端聚合的应用场景：当我们只关心所有数据中的部分数据时，并且数据可以放入内存中。使用的好处：可以大大减小网络数据的传输量，提高效率；一般编程思路：在Mapper的map函数中读入所有数据，然后添加到一个List（队列）中，然后在cleanup函数中对list进行处理，输出我们关系的少量数据。实例：在map函数中使用空格分隔每行数据，然后把每个单词添加到一个堆栈中，...
分类：
其他好文 时间：
2014-07-18 23:00:49
阅读次数：
283
Hadoop代码测试版本：2.4应用场景：在Hadoop编程的时候，有时我们在进行我们算法逻辑的时候想附带了解下数据的一些特性，比如全部数据的记录数有多少，map的输出有多少等等信息（这些是在算法运行完毕后，直接有的），就可以使用计数器Counter。如果是针对很特定的数据的一些统计，比如统计以1开头的所有记录数等等信息，这时就需要自定义Counter。自定义Counter有两种方式，第一种，定义...
分类：
其他好文 时间：
2014-07-18 22:29:12
阅读次数：
277
用oracle账号登陆ORACLE数据库服务器
方法一:
查看表空间的名字及文件所在位置：
select tablespace_name, file_id, file_name,round(bytes/(1024*1024),0) total_space
from dba_data_files order by tablespace_name;
修改数据库dat...
分类：
数据库 时间：
2014-07-18 22:24:47
阅读次数：
435
安装环境：
OS:
Centos 6.5
JDK: jdk1.6.0_18
Hadoop: hadoop-0.20.2
Hbase: hbase-0.90.5
安装准备：
1.
Jdk环境已安装：版本为1.6以上
2.
hadoop环境已安装：完全分布模式安装如下
http://blog.csdn.net/lichangzai/arti...
分类：
其他好文 时间：
2014-07-18 22:08:46
阅读次数：
441
是针对单个作业，针对本job再怎么优化也不会影响到其他job；Hadoop的负载主要有两部分：CPU负载和IO负载；问题：机器io开销很大，但是机器的cpu开销较小，另外map输出文件也较大，怎么办？解决办法：通过设置map的中间输出进行压缩就可以了，这个不会影响最终reduce的输出。集群中的机器...
分类：
其他好文 时间：
2014-07-18 20:29:09
阅读次数：
384
又想速度快，又要大数据，又要保证数据不出错，还要拥抱变化，改需求的时候不那么痛苦，特别是字段的调整，按照以前的做法，想想就头疼。使用NoSQL，简直就是随心所欲，再奇葩的数据结构，处理起来也很容易。下面看我如何用NoSQL数据库实现高并发，高可靠的CRM系统。
分类：
数据库 时间：
2014-07-18 19:07:48
阅读次数：
419
作为企业Hadoop应用的核心产品之一，Hive承载着公司95%以上的离线统计，甚至很多企业里的离线统计全由Hive完成；Hive在企业云计算平台发挥的作用和影响越来越大，如何优化提速已经显得至关重要；Hive作业的规模决定着优化层级，一个Hive作业的优化和一万个Hive作业的优化截然不同；后续文...
分类：
其他好文 时间：
2014-07-17 13:13:40
阅读次数：
266
<html xmlns:v="urn:schemas-microsoft-com:vml"
xmlns:o="urn:schemas-microsoft-com:office:office"
xmlns:w="urn:schemas-microsoft-com:office:word"
xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882"
xml...
分类：
其他好文 时间：
2014-07-17 11:02:01
阅读次数：
298
美国零售商Target在基于购买记录分析的基础上，分析出一位少女怀孕，进而推送孕期相关的产品广告到这户人家，这位少女的父亲对此颇为不满。当然，最后证明他女儿真怀孕了，这位父亲也颇为尴尬。基于过去销售记录进行预测，并非需要大数据技术，传统的BI也许就能解决，但这个妇..
分类：
其他好文 时间：
2014-07-17 10:28:42
阅读次数：
214
