介绍: Sharding-JDBC,定位为轻量级Java框架,在Java的JDBC层提供的额外服务。 它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。 Sharding-JDBC的核心功能为 数据分片 和 读写分离 ...
分类:
数据库 时间:
2020-05-02 18:39:54
阅读次数:
381
线程上下文切换(Thread Context Switch ) 定义 CPU执行线程的时候是通过时间分片的方式来轮流执行的,当某一个线程的时间片用完(到期),那么这个线程就会被中断,CPU不再执行当前线程,CPU会把使用权给其它线程来执行。如T1线程未执行结束,T2/T3线程插进来执行了,若干时间后 ...
分类:
编程语言 时间:
2020-05-01 20:14:22
阅读次数:
71
原文地址: 先认识几个东西: 1、Elasticsearch : 开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful 风格接口,多数据源,自动搜索负载等。 2、Logstash : 完全开源的工具,对日志进行收集、分析,并将其存储供以后使用(如,搜 ...
分类:
其他好文 时间:
2020-05-01 16:48:36
阅读次数:
89
MySQL体系结构(独有的插件式体系结构) Connectors 连接器 支持多协议 TCP/IP 命名管道和共享内存(window系统) UNIX域套接字(linxu或unix环境),只能是客户端和数据库实例在同一台服务器上时使用 mysql使用的是半双工通信方式(所以应用中要避免没有limit的 ...
分类:
数据库 时间:
2020-04-29 18:42:06
阅读次数:
80
核心原理: 该项目核心就是文件分块上传。前后端要高度配合,需要双方约定好一些数据,才能完成大文件分块,我们在项目中要重点解决的以下问题。 * 如何分片; * 如何合成一个文件; * 中断了从哪个分片开始。 如何分,利用强大的js库,来减轻我们的工作,市场上已经能有关于大文件分块的轮子,虽然程序员的天 ...
分类:
编程语言 时间:
2020-04-29 18:18:26
阅读次数:
174
面试官:想了解应聘者之前公司接触的 ES 使用场景、规模,有没有做过比较大 规模的索引设计、规划、调优。 解答: 如实结合自己的实践场景回答即可。 比如:ES 集群架构 13 个节点,索引根据通道不同共 20+索引,根据日期,每日 递增 20+,索引:10 分片,每日递增 1 亿+数据, 每个通道每 ...
分类:
其他好文 时间:
2020-04-29 16:34:19
阅读次数:
117
1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们就需要思考另一种 ...
分类:
编程语言 时间:
2020-04-27 15:01:34
阅读次数:
90
众所皆知,web上传大文件,一直是一个痛。上传文件大小限制,页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是:前端实现数据流分片长传,后面接收完毕后合并文件的思路。 实现文件夹上传,要求:服务端保留层级结构,支持10w级别的文件夹上传。 大文件上传及断点续传,要求:支持50G ...
分类:
Web程序 时间:
2020-04-27 11:52:38
阅读次数:
282
文件夹数据库处理逻辑 public class DbFolder { JSONObject root; public DbFolder() { this.root = new JSONObject(); this.root.put("f_id", ""); this.root.put("f_name ...
分类:
Web程序 时间:
2020-04-25 19:40:01
阅读次数:
87