回顾MapReduce的计算过程 Spark对比MapReduce Spark是借鉴了MapReduce的思想并在其基础上发展起来的，继承了其分布式计算的优点并改进其缺陷，但两者也有不少的差异如下： 1.spark更快，spark把运行的之间数据存放在内存，迭代计算效率高；mapreduce的之间结 ...
分类：
其他好文 时间：
2018-09-16 15:58:38
阅读次数：
228
一、NoSQL简介 优点/缺点 优点: 高可扩展性 分布式计算 低成本 架构的灵活性，半结构化数据 没有复杂的关系 缺点: 没有标准化 有限的查询功能（到目前为止） 最终一致是不直观的程序 分类 类型 部分代表 特点 列存储 Hbase Cassandra Hypertable 顾名思义，是按列存储 ...
分类：
编程语言 时间：
2018-09-11 22:02:01
阅读次数：
250
1.集群的概念 计算机集群通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。 是一组独立的计算机系统构成一个松耦合的多处理器系统，它们之间通过网络实现进程间的通信，应用程序可以通过网络共享内存进行消息传送，实现分布式计算机。 比如单个重负载的 运算分担到多台设备上做并行处理， ...
分类：
其他好文 时间：
2018-09-11 21:26:34
阅读次数：
191
数据库文件处理就可以将数据永久存储问题:1.管理不方便2.文件操作效率问题3.一个程序不太可能运行在同一台电脑上 提高计算机性能的方式: 1.垂直扩展 知道是更换性能更好的硬件 2.水平扩展 之的就是添加更多的计算机,把任务分配给每一台分布式计算的好处: 1.其中某一台死机 不会导致整个系统瘫痪 稳 ...
分类：
数据库 时间：
2018-09-11 18:01:45
阅读次数：
181
TensorFlow简介与Python基础2018.9.10一、概述TF使用数据数据流图进行数值计算，亮点是支持异构设备分布式计算机常用的ML库有MXNetTorch/PytorchTheanoCNTKCaffe等0阶张量（纯量），1阶张量（向量），2阶张量（矩阵）tensor（张量）flow（流动）编程模式命令式编程（Torch）符号式编程（Tensorflow，theano描述算法流程放到其他
分类：
编程语言 时间：
2018-09-10 22:26:51
阅读次数：
364
1. HADOOP背景介绍 1.1 什么是HADOOP Hadoop hive hbase flume kafka sqoop spark flink ……. 1.2 HADOOP产生背景 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE，可用于处理海量网 ...
分类：
其他好文 时间：
2018-09-05 11:39:05
阅读次数：
195
什么是大数据？用于①数据的存储：分布式文件系统（分布式存储）②数据的计算：分布式计算。简单一点就是存储和计算的问题，解决日常海量数据的分析。学习大数据需要什么基础呢？Java基础（Javase）:类、类、继承、I/O、反射、泛型等；Linux基础（Linux的操作）:创建文件、目录、vi编辑器的使用；Java和大数据都有哪些关系呢？基于Java语言开发→→→Hadoop体系结构、原理、编程第一阶段
分类：
其他好文 时间：
2018-09-01 17:31:34
阅读次数：
160
大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。 大数据学习QQ群：119599574 如何开始学习大数据？ 人们想开始学习大数据的时候，最常 ...
分类：
其他好文 时间：
2018-08-31 10:53:00
阅读次数：
184
前言 就这样，大数据领域蓬勃发展了好几年，有很多伙伴执迷于技术，成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据，成为了行业的数据研发专家。当然还有很多小伙伴，热衷于工具系统开发，成为了数据技术专家。那么我们回过头来考虑，什么是大数据，什么又是数据仓库，什么又是数据技术。大数据其实是个非常笼 ...
分类：
其他好文 时间：
2018-08-28 21:12:15
阅读次数：
161
### HDFS分布式文件系统
1. 分布式存储
2. 分布式计算 ### 2、hadoop
hadoop含有四个模块，分别是 common、 hdfs和yarn。
1. common 公共模块。 2. HDFS hadoop distributed file system，hadoop分布式文件系... ...
分类：
其他好文 时间：
2018-08-27 21:29:28
阅读次数：
257
