基础概念 MongoDB 是非关系型数据库，也就是nosql，存储json数据格式会非常灵活，要比mysql更好，同时也能为mysql分摊一部分的流量压力。另外呢，对于非事务的数据完全可以保存到MongoDB中，这些数据往往也是非核心数据。 以下是MongoDB和数据库以及ElasticSearch ...
分类：
数据库 时间：
2020-02-11 14:42:11
阅读次数：
78
根据网上的教程，当完成了Elasticsearch 7.x安装后，会要求你用Docker命令登陆到master节点的容器执行以下命令来设置默认账户的密码。 bin/elasticsearch-setup-passwords interactive 以我的试验会得到以下报错，大致意思是抱怨连接不上这个 ...
分类：
其他好文 时间：
2020-02-11 09:30:59
阅读次数：
363
cluster.name: ${clusterName} node.master: ${master} node.data: ${data} path.data: /home/service/var/esuser/${httpPort} #path.logs: /path/to/logs netwo ...
分类：
其他好文 时间：
2020-02-10 22:30:45
阅读次数：
82
在公司的操作es进行查询数据时，es默认分页且只返回十条数据，并且size最大只能传10000，这种查询方式称之为深度分页的方式也就是用 from 和 size 参数分页查询。由于我们当时开发任务紧急，所以在需要获取全量数据时就直接更改了这一限制，改为了10000000（一千万）条。但是这一方式可能 ...
分类：
其他好文 时间：
2020-02-10 17:44:46
阅读次数：
439
1.总结遇到的elasticsearch启动失败的几种情况及解决参考： http://www.mamicode.com/info-detail-2322576.html 2.Elasticsearch 6.8集群搭建参考： https://blog.csdn.net/guohan_solft/art ...
分类：
其他好文 时间：
2020-02-09 22:19:02
阅读次数：
140
今天开源了一个百度云网盘爬虫项目，地址是https://github.com/callmelanmao/yunshare。百度云分享爬虫项目github上有好几个这样的开源项目，但是都只提供了爬虫部分，这个项目在爬虫的基础上还增加了保存数据，建立elasticsearch索引的模块，可以用在实际生产环境中，不过web模块还是需要自己开发安装安装node.js和pm2，node用来运行爬虫程序和索引
分类：
其他好文 时间：
2020-02-07 20:29:36
阅读次数：
97
在使用elasticsearch的过程中我们借用elasticsearch-master-head插件来监控我们的索引情况，在创建索引后，在head插件中查看，发现集群的链接状态由绿色(状态良好)直接变成了黄色(存在问题但是还可以处理)并且索引如下图所示，如果出现红色就要凉凉了，红色代表出现了丢失数 ...
分类：
其他好文 时间：
2020-02-07 19:06:24
阅读次数：
95
下载Java 13 需登录 https://www.oracle.com/technetwork/java/javase/downloads/jdk13-downloads-5672538.html 安装 https://www.cnblogs.com/shirley-0021/p/8510051. ...
分类：
编程语言 时间：
2020-02-07 16:51:15
阅读次数：
62
Linux下的防火墙有两种：Iptables和Firewall（概念以及区别大家可以自行搜索）。为什么要关闭防火墙呢？主要是我们都过Linux搭建服务器的时候其他机器访问会被墙掉，例如：Tomcat，elasticsearch等。其实在我们实际开发过程中，需要关闭的一般只是第二种防火墙，即Firew ...
分类：
系统相关 时间：
2020-02-07 10:19:43
阅读次数：
86
环境搭建 big data env setup 读写ES spark 怎么读写 elasticsearch Spark 上time series 处理 Flint by Two Sigma ...
分类：
其他好文 时间：
2020-02-06 14:39:30
阅读次数：
66
