http://www.semantikoz.com/blog/lambda-architecture-velocity-volume-big-data-hadoop-storm/ Big data architecture paradigms are commonly separated into ...
分类：
其他好文 时间：
2020-04-05 22:02:51
阅读次数：
90
NoSQL 学名（not only sql） 特点： 存储结构与mysql这一种关系型数据库完全不同，nosql存储的是KV形式 nosql有很多产品，都有自己的api和语法，以及业务场景 产品种类： Mongodb redis Hbase hadoop Nosql和sql的区别 应用场景不同，sq ...
分类：
其他好文 时间：
2020-04-05 15:32:05
阅读次数：
77
1. 所需软件下载链接（建议直接复制链接到迅雷下载更快）： ①hadoop-2.7.6.tar.gz： wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz ②zo ...
分类：
其他好文 时间：
2020-04-05 13:34:35
阅读次数：
75
这是个不该踩的坑，被我踩了两天。 启动hbase之后，Hmaster和Hregionserver会自动相继down掉， 于是重新安装了hbase, 但是重新安装hbase之后， 你必须将zookeeper里的/hbase目录和hdfs里的/hbase目录全部删掉！ 你必须将zookeeper里的/h ...
分类：
其他好文 时间：
2020-04-05 11:33:59
阅读次数：
83
MapReduce原理 背景 因为如果要对海量数据进行计算，计算机的内存可能会不够。 因此可以把海量数据切割成小块多次计算。 而分布式系统可以把小块分给多态机器并行计算。 MapReduce概述 MapReduce是一种分布式计算模型，由Google提出主要用于搜索领域，解决海量数据的计算问题。 适 ...
分类：
其他好文 时间：
2020-04-05 00:49:37
阅读次数：
74
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zookeeper： zkServer.sh start 启动journal ...
分类：
Web程序 时间：
2020-04-05 00:40:06
阅读次数：
101
本文使用的Hadoop为2.7.7，版本如果不同要下载相应版本的文件 配置本地的Hadoop库（不需完整安装，但是要有环境支持） 下载文件 https://github.com/speedAngel/hadoop2.7.7 解压到任意路径，没有中文字符和空格 把解压包的bin替换到解压路径 把bin ...
分类：
其他好文 时间：
2020-04-05 00:24:45
阅读次数：
98
重温MR整体流程 工作流程 开始执行输入（InputFormat），先对文件进行分片，然后读取数据输入到Map中。 Mapper读取输入内容，解析成键值对，1行内容解析成1个键值对，每个键值对调用一次map方法。 每个键值对执行map重写的方法，把输入的键值对转换成新的键值对。 多个Mapper的输 ...
分类：
其他好文 时间：
2020-04-05 00:16:31
阅读次数：
65
./dev/make-distribution.sh —tgz —name h32hive -Pyarn -Phadoop-3.2.1 -Dhadoop.version=3.2.1 -Phive -Phive-thriftserver -DskipTests +++ dirname ./dev/ma ...
分类：
其他好文 时间：
2020-04-04 21:00:49
阅读次数：
101
一.维度 1.数据模型 数据有多种存储的方式，包括键值对【类似Map】、半结构化的列式存储和文档结构存储。 2.存储模型 内存还是磁盘持久化可以和RDBMS进行比较，它们通常持久化存储数据到磁盘中。即使需要的是纯粹内存模式，也仍旧有其他方案。一旦考虑持久化存储，就需要考虑选择的方案是否影响到访问模式 ...
分类：
其他好文 时间：
2020-04-04 19:00:39
阅读次数：
69
