前言 现代业务越来越复杂，数据量也越来越大，关系型数据库本身就比较容易形成系统瓶颈，单机存储容量，连接数，处理能力都有限。 当单表的数据量达到一定量级以后，比如1000万，由于查询维度较多，即使添加从库，优化索引，做很多操作时性能还是下降严重。 这个时候要如何提高数据的性能呢？ 有人说，可以通过提升 ...
分类：
其他好文 时间：
2021-05-24 13:31:00
阅读次数：
0
A Daily Topic # 6 星期几 已知 1 年 1 月 1 日是星期一。 现在给定一个日期，请你判断是星期几。 注意闰年的 2 月有 29 天。 满足下面条件之一的是闰年： 年份是 4 的整数倍，而且不是 100 的整数倍； 年份是 400 的整数倍。 输入格式 输入包含多组测试数据。 每 ...
分类：
其他好文 时间：
2021-05-24 12:30:04
阅读次数：
0
由于多线程爬取数据比单线程的效率要高，尤其对于爬取数据量大的情况，效果更好，所以这次采用多线程进行爬取。具体代码和流程如下： import math import re from concurrent.futures import ThreadPoolExecutor import requests ...
分类：
编程语言 时间：
2021-05-24 12:04:44
阅读次数：
0
cube.js 的预聚合是一个很不错的功能，但是目前是有一些问题的，比如我们包含了大量的数据（几十完，上百万） 目前官方相关的解决方法 数据拆分 基于文件模式的文件处理（比如cubestore支持csv格式的） 基于stream模式的数据处理（目前官方也比较推荐的模式） 一些说明 目前方案都不太好， ...
分类：
Web程序 时间：
2021-05-24 09:57:40
阅读次数：
0
公司的项目数据量有限，获取行业线上线下消费数据也困难，没有足够的数据量，如何应用大数据？如何在公司现有情况下接触实际的高并发大数据项目？ 就是想实操一下高并发的架构设计或者参与互联网级别项目的开发，但又不想舍弃现在的工作？ 中小企业如何想办法破局 大数据本身就特别容易形成技术垄断，让长尾的中小企业无 ...
分类：
其他好文 时间：
2021-05-24 09:54:03
阅读次数：
0
前因 项目一直使用的是PageHelper实现分页功能，项目前期数据量较少一直没有什么问题。随着业务扩增，数据库扩增PageHelper出现了明显的性能问题。 几十万甚至上百万的单表数据查询性能缓慢，需要几秒乃至十几秒的查询时间。故此特地研究了一下PageHelper源码，查找PageHelper分 ...
分类：
其他好文 时间：
2021-05-24 09:07:25
阅读次数：
0
问题概述 使用MySQL数据库，有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。 问题前提：老系统，当时设计系统的人大概是大学没毕业，表设计和sql语句写的不仅仅是垃圾，简直无法直视。原开发人员都已离职，到我来维护，这就是传说中 ...
分类：
数据库 时间：
2021-05-24 06:01:31
阅读次数：
0
企业与其供应商之间进行业务往来时，需要传输大量的业务数据。这些数据形式多样，结构复杂，传输起来难度很大。如何高效地传输企业业务数据成为企业发展过程中需要克服的重点问题。 请设想这样一个场景，您需要接收来自多个供应商的供货。这些供应商给您提供不同种类的货物信息。A供应商将发货通知单等信息以PDF的形式 ...
分类：
其他好文 时间：
2021-05-24 04:18:23
阅读次数：
0
Linux系统的进程间通信的方式 一、进程间通信的目的 数据传输：一个进程需要将它的数据发送给另一个进程，发送的数据量在一个字节到几M字节之间 共享数据：多个进程要操作共享数据，一个进程对共享数据 信息传递：一个进程需要向另一个进程发送消息，通知它发生了某种事件。 资源共享：多个进程之间共享同样的数 ...
分类：
系统相关 时间：
2021-05-24 00:58:21
阅读次数：
0
###1.了解数据 01.数据量是多少？ -总的数据个数，存储空间的大小 -分的数据个数，存储空间的大小 分： 数据类型有哪些？ -- 文件夹 文件 时间周期 -- 02.了解数据分布 最大的数据多少，最小的呢，平均情况 有无异常文件--空文件夹 find ./ -maxdepth 1 -type ...
分类：
其他好文 时间：
2021-05-03 12:01:55
阅读次数：
0
