一、HDFS伪分布式环境搭建 Hadoop的三种运行模式（启动模式） -格式化文件系统 -格式化文件系统 HDFS公开了文件系统名称空间，允许用户将数据存储在文件中，就好比我们平时使用操作系统中的文件系统一样，用户无需关心底层是如何存储数据的。而在底层，一个文件会被分成一个或多个数据块，这些数据库块 ...
分类：
其他好文 时间：
2018-04-17 11:46:48
阅读次数：
198
转自：http://www.cnblogs.com/tgzhu/p/5818374.html Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm ...
分类：
其他好文 时间：
2018-04-16 16:10:21
阅读次数：
239
PHP中Session存储在文件中，对于一般需求来讲没什么问题，但是对于高并发、分布式集群架构的项目来讲，会有性能和Session共享的问题。解决方案：配置Session存储在NoSQL中，如Redis等Reids存储方法1：php.ini配置session.save_handler=redissession.save_path="tcp://127.0.0.1:6379"重启php-fpm方法2
分类：
Web程序 时间：
2018-04-12 15:26:10
阅读次数：
178
Zookeeper是一个高性能的分布式系统的协调服务。它在一个简单的接口里暴露公共服务：像命名、配置管理、同步、和群组服务，所以你没有必要从头开始实现它们。你可以使用现成的Zookeeper去实现共识、群组管理、领导人选举和业务协议。并且你可以在它的基础之上建立自己特定的需求
分类：
其他好文 时间：
2018-04-11 17:04:19
阅读次数：
165
当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决。 ...
分类：
Web程序 时间：
2018-04-10 17:39:50
阅读次数：
200
Hadoop基础，HDFS，MapReduce，分布式集群，Hive，Hbase，Sqoop，Pig，Storm实时数据处理平台，Spark平台 ...
分类：
其他好文 时间：
2018-04-08 19:46:50
阅读次数：
159
由于之前都在有道云笔记中记录：分享链接： http://note.youdao.com/noteshare?id=2b32a9edab38f6262354d1f8e4b0e748&sub=9D561AD084E449AB8A96B273DEF07CCC ...
分类：
其他好文 时间：
2018-04-07 21:07:41
阅读次数：
269
一、HDFS伪分布式环境搭建Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实
分类：
其他好文 时间：
2018-04-07 12:51:45
阅读次数：
183
1 Redis介绍 1.1 什么是NoSql 为了解决高并发、高可扩展、高可用、大数据存储问题而产生的数据库解决方案，就是NoSql数据库。 NoSQL，泛指非关系型的数据库，NoSQL即Not-Only SQL，它可以作为关系型数据库的良好补充。 1.2 Nosql数据库分类 n 键值(Key-V ...
分类：
其他好文 时间：
2018-04-06 15:18:09
阅读次数：
167
操作系统： MAC OS X 一、准备 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载地址：https://archive.cloudera.com/cdh5/cd ...
分类：
系统相关 时间：
2018-04-05 20:56:11
阅读次数：
302
