import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}// 创建一个本地模式的StreamingContext, 两个工作线程， 1s的批处理间隔//Master要求 ...
分类：
其他好文 时间：
2021-07-02 16:32:11
阅读次数：
0
7.1MongoDB之索引 MongoDB读取数据的方法 MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。 什么是索引 索引是特殊的数据结构，索引存储在一个易于遍历读取的数据集合中，索引是对数据库表中一列或多列的值进行排序的一种结构 createIndex()方法 M ...
分类：
数据库 时间：
2021-07-02 15:36:45
阅读次数：
0
一、环境介绍 官方文档:https://kubernetes.io/zh/docs/setup/production-environment/container-runtimes/#containerd [root@master ~]# kubectl get node -o wide NAME S ...
分类：
其他好文 时间：
2021-07-01 17:27:57
阅读次数：
0
常见mongodb部署架构 1.为什么要是用分片集群 ? 数据容量日益增大，访问性能日渐降低，怎么破？ 新品上线异常火爆，如何支撑更多的并发用户？ 单库已有 10TB 数据，恢复需要1-2天，如何加速？ 地理分布数据 2.分片如何解决 如何分片 >>>> 完整的分片集群 mongos：路由节点 1. ...
分类：
其他好文 时间：
2021-07-01 16:29:57
阅读次数：
0
PhantomJS在服务端生成ECharts图片 1. 准备工作 下载 PhantomJS包 点我进入下载页面 下载saintlee-echartsconvert-master包 点我进入下载页面 上传到linux服务器上 2. 部署服务 安装PhantomJS # 解压缩文件 tar xjf ph ...
分类：
Web程序 时间：
2021-06-30 17:43:17
阅读次数：
0
第二章.HDFS 1.大数据的两个核心技术 2.HDFS设计目标 3.HDFS自身的局限性 4.HDFS采用块设计以及采用块设计的好处 5.HDFS组成架构 6.元数据信息被持久化到磁盘分为哪两个文件 7.第二名称节点的作用 8.名称节点，数据节点的功能 待补充 9.副本机制、数据容错机制、心跳机制 ...
分类：
其他好文 时间：
2021-06-28 20:29:20
阅读次数：
0
1.Mongo与Mysql简单对比 关系型数据库-MySQL 1.在不同的引擎上有不同的存储方式。 2.查询语句是使用传统的sql语句，拥有较为成熟的体系，成熟度很高。 3.开源数据库的份额在不断增加，mysql的份额页在持续增长。 4.缺点就是在海量数据处理的时候效率会显著变慢。 非关系型数据库- ...
分类：
数据库 时间：
2021-06-28 17:50:51
阅读次数：
0
官方地址：http://docs.minio.org.cn/docs/master/minio-docker-quickstart-guide 拉取镜像 docker pull minio/minio 启动 docker run -p 9000:9000 --name minio1 \ -e "MI ...
分类：
系统相关 时间：
2021-06-25 17:04:33
阅读次数：
0
参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh ...
分类：
其他好文 时间：
2021-06-25 16:43:35
阅读次数：
0
? 通过mycat和mysql的主从复制配合搭建数据库的读写分离，可以实现mysql的高可用性，下面我们来搭建mysql的读写分离。 1、一主一从 1、在node01上修改/etc/my.cnf的文件 #mysql服务唯一id，不同的mysql服务必须拥有全局唯一的id server-id=1 #启 ...
分类：
数据库 时间：
2021-06-24 18:29:36
阅读次数：
0
