cuda是Compute Unified Device Architecture的缩写。中文叫统一计算架构。是为了让nvidia gpu可以完成通用计算任务的一种集成技术。我们通常可以使用的cuda框架有c，c++,fortran,python,java的，可以为数据大吞吐量的工作提供很好的加速功能 ...
分类：
其他好文 时间：
2020-07-26 15:10:23
阅读次数：
140
1. 简要介绍 HBase 是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的 BigTable 建模，实现的编程语言为 Java。它是 Apache 软件基金会的 Hadoop 项目的一部分，运行于 HDFS 文件系统之上，为 Hadoop 提供类似于 BigTable 规模的服务，可 ...
分类：
其他好文 时间：
2020-07-26 01:59:15
阅读次数：
89
The option-critic architecture论文翻译与理解 ...
分类：
其他好文 时间：
2020-07-25 09:51:31
阅读次数：
62
HDFS主要解决什么问题，与IPFS有什么不同？近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。与传统的高端服务器、高端存储器和高端处理器不同的是，互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通PC服务器通过网络连接而成。由于互联网的业务发展迅猛，使得
分类：
其他好文 时间：
2020-07-23 22:53:39
阅读次数：
109
#source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使 ...
分类：
Web程序 时间：
2020-07-23 22:28:11
阅读次数：
105
软件测试人员必备的英语单词（一） application 应用程式 应用、应用程序 application framework 应用程式框架、应用框架 应用程序框架 architecture 架构、系统架构 体系结构 argument 引数（传给函式的值）。叁见 parameter 叁数、实质叁数、 ...
分类：
其他好文 时间：
2020-07-23 15:59:18
阅读次数：
142
1.-help : 输出这个命令的相关参数用法 hadoop fs -help rm (删除的相关用法) 2.-ls : 显示目录信息 hadoop fs -ls / 递归查看 hadoop fs -ls -R / 3.-mkdir: 在hdfs上创建目录 hadoop fs -mkdir -p / ...
分类：
其他好文 时间：
2020-07-22 21:02:50
阅读次数：
82
Checkpoint机制 NameNode负责管理元数据，元数据存在内存中，但在磁盘上有元数据镜像文件FSimage和操作日志文件edits 内存中的元数据和磁盘镜像文件有状态差，状态差体现在操作日志文件中 SecondaryNameNode会定期将NameNode上的操作日志文件下载到本地，跟上一 ...
分类：
其他好文 时间：
2020-07-22 01:46:07
阅读次数：
87
Hadoop - hdfs dfs常用命令的使用 用法 1，-mkdir 创建目录Usage：hdfs dfs -mkdir [-p] < paths>选项：-p很像Unix mkdir -p，沿路径创建父目录。 2，-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间Usage：hdf ...
分类：
其他好文 时间：
2020-07-21 21:48:33
阅读次数：
80
1 HA 概述 1）所谓 HA（High Available），即高可用（7*24 小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制： HDFS 的 HA 和 YARN 的 HA。 3）Hadoop2.0 之前，在 HDFS 集群中 Name ...
分类：
其他好文 时间：
2020-07-21 13:55:58
阅读次数：
69
