内存还剩余很多，却使用swap分区作者：张首富时间：2020-06-18wx：y18163201原因今天早上AI部门工程师来找我说，你会给ubuntu设置swap分区吗，我们机器内存好像不咋够用了，给我搞个swap分区吧！我说好的，这么简单分分钟钟的事情，我三下五除二的就给他搞定了，给他说好了，你用吧，但是过一会他就跑来说，你给我弄好swap分区之后这台机器就特别特别卡，你能帮我看看什么问题吗？排
分类：
其他好文 时间：
2020-06-18 16:18:35
阅读次数：
145
原始RDD或数据集中的每一个分区都映射一个或多个数据文件， 该映射是在文件的一部分或者整个文件上完成的。 Spark Job RDD/datasets在执行管道中，通过根据分区到数据文件的映射读取数据输入到RDD/dataset。 如何根据某些参数确定spark的分区数？ 影响数据分区数的参数： ( ...
分类：
其他好文 时间：
2020-06-18 13:16:01
阅读次数：
66
系统软件情况：Win10系统，Charles4.5.6，夜神模拟器6.6.0.9 Charles已经安装了证书以便获取https请求，下面记录Android模拟器的相关设置。 整体过程：在夜神模拟器上配置本机代理-->模拟器下载证书-->模拟器安装证书 1、在夜神模拟器上配置本机代理。 代理IP就是 ...
分类：
移动开发 时间：
2020-06-18 13:10:35
阅读次数：
88
这两天在使用Jenkins搭建部署一键构建python脚本的框架，看了无数教程（很多教程都是复制粘贴的乱糟糟的教程），踩了无数坑终于搞定了，记录一下这次的搭建过程，以便之后参考。 环境介绍：1、本机（自己写代码用的win10）2、Jenkins服务器（使用的虚拟机） 3、远程服务器（win10系统） ...
分类：
其他好文 时间：
2020-06-17 23:26:26
阅读次数：
85
创建RAID（以RAID5为例）1、首先，我们要先创建新磁盘分区#fdisk /dev/hda创建3个500MB的分区（hda7，hda8，hda9），然后在fdisk命令下输入t，选择刚创建好的分区，输入fd，将刚创建好的3个分区转换为fd格式。输入w保存退出 2、激活刚创建好的分区#partpr ...
分类：
系统相关 时间：
2020-06-17 11:11:43
阅读次数：
86
一、自建yum仓库，分别为网络源和本地源。网络源：1、首先创建yum仓库：[centos@localhost~]$yuminstallcreaterepo2、将原来的yum网络源禁用。[root@localhostyum.repos.d]#mvCentOS-Base.repoCentOS-Base.repo.bak3、编辑CentOS-Base.repo[base]name=BaseRepoonm
分类：
其他好文 时间：
2020-06-17 10:54:51
阅读次数：
47
一、分区类型 主分区：最多4个 扩展分区： 最多1个 主分区+扩展分区最多4个 不能写数据，只能包含逻辑分区 逻辑分区：扩展分区下的分区 二、格式化 格式化最主要的目的是写入文件系统 写入文件系统主要是将磁盘：划分为等大的block，创建inode表，inode是一个结构体，包含了一个文件的权限，大 ...
分类：
系统相关 时间：
2020-06-16 23:43:03
阅读次数：
73
摘要：Kafka中的位移是个极其重要的概念，因为数据一致性、准确性是一个很重要的语义，我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位移的那些事，包括： 概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区 ...
分类：
其他好文 时间：
2020-06-16 21:54:32
阅读次数：
65
hbase建表create高级属性 //hbase 表预分区也就是手动分区 这个很重要 下面几个shell 命令在后续的hbase 操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个create 属性1、BLOOMFILTER 默认是NONE 是否使用布隆过虑使用何种方式布隆过滤可以每列 ...
分类：
其他好文 时间：
2020-06-16 15:09:09
阅读次数：
150
1，如果预聚合不影响最终结果，可以使用conbine，提前对数据聚合，减少数据量。 2，使用2次mr的方式。第一次mr，在map输出是给key加上一个前缀，则可以把相同的key分配到不同的reduce聚合，可以实现同一个key数据量大的问题；第二次mr对把第一次mr输出的数据的key去掉前缀，在聚合 ...
分类：
其他好文 时间：
2020-06-16 13:24:44
阅读次数：
54
