HBase搭建 Fully distributed 1、搭建方式说明 2、搭建步骤 1、将集群中的所有节点的hosts文件配置完成 2、将集群中的所有节点的防火墙关闭 3、将集群中的所有节点的时间设置一致 4、将所有的节点设置免密钥登陆 5、解压hbase安装包 6、在/etc/profile文件中 ...
分类：
其他好文 时间：
2019-08-03 10:46:20
阅读次数：
73
1.DataParallel layers (multi-GPU, distributed) 1）DataParallel 实现模块级别的数据并行 该容器是通过在batch维度上将输入分到指定的device中来在给定的module应用上实现并行。在前向传播中，模块module将在每个设备device ...
分类：
其他好文 时间：
2019-08-01 20:12:16
阅读次数：
553
Hadoop的背景起源二：MapReduce 一、什么是大数据，本质？ （1）数据的存储：分布式文件系统（分布式存储） > HDFS: Hadoop Distributed File System （2）数据的计算：分布式计算 二、如何解决大数据的计算？分布式计算 （1）什么是PageRank(Ma ...
分类：
其他好文 时间：
2019-07-12 11:24:48
阅读次数：
91
目录 1.概述 1 1.1 项目背景 1 客户端 3 Distributed Master 3 Worker Service 5 Kernel Implements 6 技术栈 7 一、 神经网络的实现过程 8 二、 前向传播 8 三、后向传播 10 四、搭建神经网络的过程 11 神经网络优化 12 ...
分类：
其他好文 时间：
2019-07-11 20:33:10
阅读次数：
171
第一节：hdfs简介 用于海量数据存储的，就是一个文件系统，分布式文件系统。 hadoop distributed filesystem 第二节：设计思想 一、分而治之 将超级大的文件切分成每一个小文件（数据块）进行存储在不同的节点上。同时切分的数据块太大了，容易造成集群中节点的存储的负载不均衡。太 ...
分类：
其他好文 时间：
2019-06-30 20:44:39
阅读次数：
147
技术栈 SpringBoot fastDFS Vue.js 文件系统 FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4等 文件系统属于操作系统的一部分 分布式文件系统：分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接 ...
分类：
其他好文 时间：
2019-06-30 19:23:12
阅读次数：
144
这篇文章讲解分布式缓存，即 Distributed caching in ASP.NET Core Distributed caching in ASP.NET Core 分布式缓存是可以在多个应用服务上共享的缓存，比较经典的用法是作为多个应用服务器的一个可到达的外部服务。分布式缓存可以提高 ASP ...
分类：
Web程序 时间：
2019-06-27 23:05:06
阅读次数：
192
1、建立基础索引:在where,order,join字段上建立索引优化，组合索引：基于业务逻辑前缀索引使用上与普通索引一致! 2、索引的存储结构：Btree索引，hash索引，聚簇索引Btree不是二叉树在MySQL中，仅仅只有InnoDB的主键索引是聚簇结构，其他的都是典型的BTree结构Hash ...
分类：
数据库 时间：
2019-06-27 11:08:57
阅读次数：
141
导入 从一个Job运行过程中来看DAGScheduler是运行在Driver端的，其工作流程如下图： 图中涉及到的词汇概念： 1. RDD——Resillient Distributed Dataset 弹性分布式数据集。 2. Operation——作用于RDD的各种操作分为transformat ...
分类：
其他好文 时间：
2019-06-27 01:07:50
阅读次数：
160
