RDD是分布式内存的一个抽象概念，是一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，能横跨集群所有节点并行计算，是一种基于工作集的应用抽象。 RDD底层存储原理：其数据分布存储于多台机器上，事实上，每个RDD的数据都以Block的形式存储于多台机器上，每个Executor会启动一个Blo ...
分类：
其他好文 时间：
2019-11-09 19:19:31
阅读次数：
127
云计算是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、热备份冗余等传统计算机和网络技术发展融合的产物。零基础学习云计算，云计算学习如何入门？近年来Linux云计算已经越来越受到重用，它不再仅仅是一些开源发烧友们之间炫耀资本，而且已经在多方面价值得到了体现，尤其在服务器操作系统方面，已经成为资深运维工程师的首选的操作工具。那么该如何学习云计算呢？接下来就简单的聊一聊云计算的基础阶段（初
分类：
其他好文 时间：
2019-11-06 10:33:32
阅读次数：
105
教材内容学习总结 本周学习了课本第四五章，我明白了门是如何构成计算机硬件的，了解了或 且 非 异或 或非 与非门以及它们的布尔运算律及多路复用器，并明白了冯·诺伊曼体系结构 读取-执行周期RAM和ROM 。之后又接触了触摸屏 嵌入式系统 并行体系结构 并明白了存储程序的概念及控制单元及算术逻辑单元是 ...
分类：
其他好文 时间：
2019-10-27 10:40:02
阅读次数：
62
结构介绍 MapReduce是Hadoop提供的一种处理海量数据的并行编程模型和计算框架，用于对大规模的数据进行并行计算。主要由ResourceManager和NodeManager两类节点构成。 ResourceManager主要负责集群资源管理，NodeManager负责节点的资源管理。 当运行 ...
分类：
其他好文 时间：
2019-10-23 11:15:46
阅读次数：
92
任务调度（并发） 进程 进程状态图 进程间切换 线程 线程模型 进程与线程的区别 进程切换 多线程与多核（并行） 内核线程 用户线程 用户级线程和内核级线程的区别 用户线程与内核线程的对应关系有三种模型：一对一模型、多对一模型、多对多模型 多对一 多对多 ...
分类：
编程语言 时间：
2019-10-15 15:06:42
阅读次数：
125
（手机横屏看源码更方便） 问题 （1）创建线程有哪几种方式？ （2）它们分别有什么运用场景？ 简介 创建线程，是多线程编程中最基本的操作，彤哥总结了一下，大概有8种创建线程的方式，你知道吗？ 继承Thread类并重写run()方法 继承Thread类并重写run()方法，这种方式的弊端是一个类只能继 ...
分类：
编程语言 时间：
2019-10-07 13:05:38
阅读次数：
88
hadoop是什么？ hadoop是一个由Apache基金会所开发的分布式系统基础架构，hdfs分布式文件存储、MapReduce并行计算。主要是用来解决海量数据的存储和海量数据的分析计算问题，这是狭义上的hadoop。广义上来讲，hadoop通常指的是一个更广泛的概念 hadoop生态圈 hado ...
分类：
其他好文 时间：
2019-10-05 20:12:34
阅读次数：
220
batchsize过小：每次计算的梯度不稳定，引起训练的震荡比较大，很难收敛。 batchsize过大： （1）提高了内存利用率，大矩阵乘法并行计算效率提高。 （2）计算的梯度方向比较准，引起的训练的震荡比较小。 （3）跑完一次epoch所需要的迭代次数变小，相同数据量的数据处理速度加快。 缺点：容 ...
分类：
其他好文 时间：
2019-10-02 16:55:28
阅读次数：
90
ReentrantLock内部包含了一个AQS对象，也就是AbstractQueuedSynchronizer类型的对象。这个AQS对象就是ReentrantLock可以实现加锁和释放锁的关键性的核心组件。 线程A，B尝试进行加锁的过程： CountDownLatch应用场景：并行计算的时候，如果某 ...
分类：
其他好文 时间：
2019-09-29 23:50:46
阅读次数：
103
论文摘取 （这部分看的是泡泡机器人的翻译） 基于特征点、单目、完全自动初始化，基于PTAM框架。 相关工作 A.位置识别（大概是用于回环检测） bags of words FAB-map DBOW2 covisibility 信息返回多个假设 B.地图初始化 单目SLAM需要初始化，两种方法：Mon ...
分类：
其他好文 时间：
2019-09-27 10:35:16
阅读次数：
482
