导语如果之前的单机版hadoop环境安装满足不了你，集群版hadoop一定合你胃口，轻松入手。目录集群规划前置条件配置免密登录3.1生成密匙3.2免密登录3.3验证免密登录集群搭建4.1下载并解压4.2配置环境变量4.4修改配置4.4分发程序4.5初始化4.6启动集群4.7查看集群提交服务到集群1.集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManag
分类：
其他好文 时间：
2020-11-18 12:13:01
阅读次数：
6
RD：单库数据量太大，数据库扛不住了，我要申请一个数据库从库，读写分离。DBA：数据量多少？RD：5000w左右。DBA：读写吞吐量呢？RD：读QPS约200，写QPS约30左右。上周在公司听到两个技术同学讨论，感觉对读写分离解决什么问题没有弄清楚，有些奔溃。另，对于互联网某些业务场景，并不是很喜欢数据库读写分离架构，一些浅见见文末。一、读写分离什么是数据库读写分离？答：一主多从，读写分离，主动同
分类：
数据库 时间：
2020-11-17 13:03:37
阅读次数：
27
1.分片内部基本结构 在一个分片中（Lucene），数据（数据原文和倒排索引）以段为单位存储，只有成为段的数据才能被检索。 因为文档先被缓存在内存中，创建倒排索引和其他索引结构之后才会成为段，才能被检索 就像下图中文档先被写入内存，为文档构建一系列索引之后成为段，并且写入磁盘，只有段才是 Searc ...
分类：
Web程序 时间：
2020-11-17 12:23:50
阅读次数：
17
mongodb 官方的go驱动包 go.mongodb.org/mongo-driver 使用起来比较繁琐，最近对其进行了二次封装 github地址：https://github.com/w3liu/go-common/tree/master/store/mongo测试用例如下： func Test ...
分类：
数据库 时间：
2020-11-13 13:16:09
阅读次数：
40
查找admin集合下前10条数据： db.admin.find().limit(10); 插入数据 > post={table: "activityzones", ... fields: [ ... { ... name: "_id", ... type: "ObjectId", ... hidde ...
分类：
数据库 时间：
2020-11-12 13:54:07
阅读次数：
13
四、pod控制器controller用于控制pod控制器主要分为:ReplicationController(相当于ReplicaSet的老版本,现在建议使用Deployments加ReplicaSet替代RC)ReplicaSet副本集,控制pod扩容,裁减Deployments控制pod升级,回退StatefulSets部署有状态的pod应用DaemonSet运行在所有集群节点(包括maste
分类：
其他好文 时间：
2020-11-11 16:17:53
阅读次数：
8
一、基本概念概念一：单库概念二：分片分片解决“数据量太大”这一问题，也就是通常说的“水平切分”。一旦引入分片，势必面临“数据路由”的新问题，数据到底要访问哪个库。路由规则通常有3种方法：（1）范围：range优点：简单，容易扩展。缺点：各库压力不均（新号段更活跃）。（2）哈希：hash优点：简单，数据均衡，负载均匀。缺点：迁移麻烦（2库扩3库数据要迁移）。（3）统一路由服务：router-conf
分类：
数据库 时间：
2020-11-10 11:28:38
阅读次数：
11
Single Field 单字段索引 示例文档：records { "_id": ObjectId("570c04a4ad233577f97dc459"), "score": 1034, "location": { state: "NY", city: "New York" } } 在单个字段上创建 ...
分类：
数据库 时间：
2020-11-10 10:51:59
阅读次数：
8
在你已经安装部署并允许MongoDB服务后，你必须要了解MongoDB的运行情况，并查看MongoDB的性能。这样在大流量得情况下可以很好的应对并保证MongoDB正常运作。 MongoDB中提供了mongostat 和 mongotop 两个命令来监控MongoDB的运行情况。 mongostat ...
分类：
数据库 时间：
2020-11-10 10:44:09
阅读次数：
9
MongoDB 使用 update() 和 save() 方法来更新集合中的文档。接下来让我们详细来看下两个函数的应用及其区别。 update() 方法 update() 方法用于更新已存在的文档。语法格式如下： db.collection.update( <query>, <update>, { ...
分类：
数据库 时间：
2020-11-10 10:35:54
阅读次数：
9
