pyspark有个bug, 虽然下面代码写了 write.mode("overwrite")但是不生效 spark.conf.set("hive.exec.dynamic.partition.mode", "constrict") db_df.repartition(1).write.mode("o ...
分类：
其他好文 时间：
2021-02-23 14:14:20
阅读次数：
0
https://www.cnblogs.com/yeungchie/ CentOS6 已经停更了，但由于某些原因还得接着用着，找到几个暂时还能用的 yum 源 备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.r ...
分类：
系统相关 时间：
2021-02-20 12:38:48
阅读次数：
0
线上有一个消息消费服务，主线程批量从kafka拉取消息，然后提交到子线程池中挨个消费。分布式追踪用到的kafka插件会使子线程创建的ThreadLocalScope被循环引用，从而造成内存泄漏。 ...
分类：
其他好文 时间：
2021-02-20 11:53:15
阅读次数：
0
好吧，前几天有人问了我这个问题，正好发篇文章分享下我的方法。 以下方法适用OpenSSH，其他根据实际修改： 首先，确认你为OpenSSH使用了PAM，检查“/etc/ssh/sshd_config”，看下“UsePAM”的值是不是定义为“yes”。 接下来，利用pam_exec给OpenSSH做个 ...
分类：
其他好文 时间：
2021-02-18 13:08:50
阅读次数：
0
在docker中运行fork进程的go程序时： /* UTS Namespace主要用来隔离nodename和domainname两个系统标识。在UTS namespace里，每个namespace允许有自己的hostname。 系统API 中的clone()创建新的进程。根据填入的参数来判断哪些n ...
分类：
其他好文 时间：
2021-02-16 12:43:00
阅读次数：
0
事务有 A C I D 原则 Redis事务本质：一组命令的集合！一个事务中的所有命令都会被序列化，在事务执行过程中，会按照顺序执行！ 一次性、顺序性、排他性，执行一系列的命令 Redis事务没有隔离级别的概念！ 所有的命令在事务中，并没有直接被执行！只有发起执行命令的适合才会执行！Exec Red ...
分类：
其他好文 时间：
2021-02-16 12:30:53
阅读次数：
0
1.悲观锁 很悲观，什么时候都会出问题，无论做什么都加锁，影响效率。 2.乐观锁 很乐观，任务什么时候都不会出问题，所以不会上锁，跟新数据的时候去判断一些，在此期间是否有人修改过这个数据，在Mysql中是利用Version字段实现！在Redis中利用watch命令。 获取version 更新的时候比 ...
分类：
其他好文 时间：
2021-02-16 12:29:04
阅读次数：
0
1. 10秒钟测试ip段所有IP的连通性 (base) [root@wlt-overseas-middleware-master ~]# cat su-asyncio-re-cancel.py import asyncio import time import re # call shell cmd ...
分类：
编程语言 时间：
2021-02-16 12:27:26
阅读次数：
0
主要内容 1. 使用zookeeper原生 API 实现分布式锁2. 分析Curator实现分布式锁的原理3. 实现带注册中心的RPC框架 使用zookeeper原生 API 实现分布式锁 Synchronized或者Lock zookeeper 、redis、数据库 在使用ZooKeeper进行分 ...
分类：
其他好文 时间：
2021-02-16 11:58:30
阅读次数：
0
每次创建项目时， IDEA 要使用插件进行创建，这些插件当你创建新的项目时，它每次都会去中央仓库下载，这样 使得创建比较慢。应该创建时，让它找本地仓库中的插件进行创建项目。 解决方式： 在 IDEA 的 Settings 窗口的 Build, Execution, Deployment > Buil ...
分类：
其他好文 时间：
2021-02-10 12:55:20
阅读次数：
0
