分布式定时任务 1. elastic job 可以实现任务分片 2. quartz 可以把任务存入数据库，实时生成任务(添加数据库添加定时任务) "文档" "中文翻译" "翻译2" ...
分类：
编程语言 时间：
2019-10-31 23:57:40
阅读次数：
167
总结一下大文件分片上传和断点续传的问题。因为文件过大（比如1G以上），必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能，当传输的文件比较大时，http协议自动会将文件切片（分块），但这不是我们现在说的重点，我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次 ...
分类：
Web程序 时间：
2019-10-30 12:03:32
阅读次数：
123
1，服务器角色解释A机器：192.168.1.31，configserver(SECONDARY)，shard1(PRIMARY)，shard2(ARBITER)，shard3(SECONDARY)B机器：192.168.1.32，configserver(SECONDARY)，shard1(SECONDARY)，shard2(PRIMARY)，shard3(ARBITER)C机器：192.168
分类：
数据库 时间：
2019-10-30 09:19:34
阅读次数：
114
一、关于上下文切换的几个为什么 1、上下文切换是什么？ 上下文切换是对任务当前运行状态的暂存和恢复 2、为什么CPU要进行上下文切换 当多个进程竞争CPU的时候，为了保证每个进程可以公平被CPU调用，采用处理任务按时间分片的机制，当某个时间片上的任务达到最后的时间点，那么这个任务就好被挂起，处理下一 ...
分类：
其他好文 时间：
2019-10-29 23:51:13
阅读次数：
406
kmalloc的原型如下： 1 void *kmalloc(size_t size, gfp_t flags) 第一个参数是要分配的块的大小，第二个参数是分片标志； flags标志 最常用的标志是GFP_KERNEL，表示内存分配(最终总是调用get_free_page来实现实际的分配，这就是GFP ...
分类：
系统相关 时间：
2019-10-29 19:51:31
阅读次数：
122
数据库优化之分表说明分割方式垂直分割水平分割水平分割方案数据库分片方案创建中间表说明单表数据量大，这时分成多个表，并行查询单表字段内容大，将大字段分离到另一个表，减少第一个表io建议超500万以上再做分表，而却精良将表放在不同物理机上，这时会出现不同数据库事物的问题，所以复杂度也就高了，所以分表需要 ...
分类：
数据库 时间：
2019-10-28 22:39:13
阅读次数：
148
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
Web程序 时间：
2019-10-28 16:16:23
阅读次数：
116
核心原理： 该项目核心就是文件分块上传。前后端要高度配合，需要双方约定好一些数据，才能完成大文件分块，我们在项目中要重点解决的以下问题。 * 如何分片； * 如何合成一个文件； * 中断了从哪个分片开始。 如何分，利用强大的js库，来减轻我们的工作，市场上已经能有关于大文件分块的轮子，虽然程序员的天 ...
分类：
Web程序 时间：
2019-10-28 12:24:49
阅读次数：
75
当在同一个网络上的两台主机互相通信时，该网络的MTU是非常重要的。当时如果两台主机之间的通信要通过多个网络，那么每个网络的链路层就可能有不同的MTU。重要的不是两台主机所在网络的MTU，而是两台通信主机路径中的最小MTU，称为路径MTU； 两台主机之间的路径MTU不一定是个常数，它取决于当时所选的路 ...
分类：
其他好文 时间：
2019-10-28 10:45:01
阅读次数：
63
Redis集群 1. 关于Redis分片哨兵总结 Redis分片: 实现内存数据的扩容， 没有高可用的实现。 Redis哨兵: 主要实现Redis高可用技术，没有实现内存扩容，并且Redis哨兵本身没有实现高可用的效果。 2. Redis集群概述 Redis集群设计时主机实现分片的功能，每台主机之后 ...
分类：
其他好文 时间：
2019-10-26 10:43:42
阅读次数：
99
