KVM虚拟化中libvirt是目前使用最为广泛的对KVM虚拟机进行管理的工具和应用程序接口，而且一些常用的虚拟机管理工具（virsh、virt-install、virt-manager等）和云计算框架平台都在底层使用libvirt的应用程序接口。 virsh是用于管理虚拟化环境中的客户机和Hyper ...
分类：
其他好文 时间：
2018-01-27 20:22:29
阅读次数：
144
hadoop的核心组件：hdfs（分布式文件系统）、mapreduce（分布式计算框架）、Hive（基于hadoop的数据仓库）、HBase（分布式列存数据库）、Zookeeper（分布式协作服务）、Sqoop（数据同步工具）和Flume（日志手机工具） hdfs（分布式文件系统）： 由client ...
分类：
其他好文 时间：
2018-01-20 00:24:52
阅读次数：
604
Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera(由于Imp... ...
分类：
其他好文 时间：
2018-01-16 13:54:34
阅读次数：
241
Kafka Stream-Spark Streaming-Storm流式计算框架比较选型 Kafka Stream-Spark Streaming-Storm流式计算框架比较选型 elasticsearch-headElasticsearch-sql clientNLPchina/elasticse ...
分类：
其他好文 时间：
2018-01-11 15:23:51
阅读次数：
926
Github优秀java项目集合（中文版） - 涉及java所有的知识体系 Java资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。awesome-java 就是 akullpp 发起维护的 Java 资源列表，内容包括：构建工具、数据库、 ...
分类：
编程语言 时间：
2018-01-07 22:13:21
阅读次数：
693
Hadoop是一个用于部署计算密集型分布式系统的框架，最早是根据谷歌公司发表的MapReduce计算框架和GFS谷歌文件系统完成的。谷歌内部的系统跟hadoop不是同一个系统。 由于谷歌的贡献，工业界模仿开发了一些分布式应用，如HBase对应NoSQL列数据库，类似谷歌公司BigTable。Apac ...
分类：
其他好文 时间：
2018-01-07 20:14:21
阅读次数：
204
Apache Spark 是加州大学伯克利分校的 AMPLabs 开发的开源分布式轻量级通用计算框架。 由于 Spark 基于内存设计，使得它拥有比 Hadoop 更高的性能(极端情况下可以达到 100x)，并且对多语言(Scala、Java、Python)提供支持。 其一栈式设计特点使得我们的学习 ...
分类：
其他好文 时间：
2018-01-01 11:32:04
阅读次数：
241
Caffe | Deep Learning Framework是一个清晰而高效的深度学习框架，其作者是博士毕业于UC Berkeley的 Yangqing Jia，目前在Google工作。Caffe是纯粹的C++/CUDA架构，支持命令行、Python和MATLAB接口；可以在CPU和GPU直接无缝 ...
分类：
其他好文 时间：
2017-12-27 18:17:14
阅读次数：
261
Spark 是一种“One Stack to rule them all”通用的大数据计算框架,期望使用一个技术栈就完美地 解决大数据领域的各种计算任务。 Spark特点：速度快、容易上手开发、超强的通用性、集成Hadoop、极高的活跃度。 Spark的速度比MapReduce快：MR计算模型太死板 ...
分类：
其他好文 时间：
2017-12-21 18:18:57
阅读次数：
192
Hadoop Yarn解析： 1. Yarn是Hadoop推出整个分布式（大数据）集群的资源管理器，负责资源的管理和分配，基于Yarn，我们可以在同一个大数据集群上同时运行多个计算框架。例如：Spark、MapReduce、Storm等 2. Yarn基本工作流程： 注意：Container要向No ...
分类：
其他好文 时间：
2017-12-14 22:08:39
阅读次数：
110
