# 利用python 生成造数据的sql语句，再去mysql中执行 import random import time # 构造表t_user_weight def create_t_user_weight(): start = time.time() # 定义需要生成的数据量 count = 10 ...
分类：
编程语言 时间：
2020-12-09 12:20:38
阅读次数：
6
一.概述 1. 数据预处理 数据预处理是从数据中检测，修改或删除不准确或不适用于模型的记录的过程 可能面对的问题有：数据类型不同，比如有的是文字，有的是数字，有的含时间序列，有的连续，有的间断。 也可能，数据的质量不行，有噪声，有异常，有缺失，数据出错，量纲不一，有重复，数据是偏态，数据量太大或太小 ...
分类：
其他好文 时间：
2020-12-09 11:58:12
阅读次数：
5
一日一技：在Python中创建临时文件用于记录临时数据当我们在做数据分析的时候，可能会由于数据量过大导致内存不足。如果我们没有条件使用更高配置的电脑，也没有办法优化数据，那么我们可以先把计算的中间值存放在一个文本文件中。例如：#第一步计算分成中间数据withopen(‘temp.txt‘,‘w‘,encoding=‘utf-8‘)asf:f.write(‘中间数据‘)#从内存中清空中间数据，腾出空
分类：
编程语言 时间：
2020-12-08 12:50:36
阅读次数：
8
1方案介绍大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语，这意味企业可将所有数据用于大数据实时分析，实现在数据接受同时即刻为企业生成分析报告，从而在第一时间作出市场判断与决策。典型的场景如电商大促和金融风控等，基于延迟数据的分析结果已经失去了
分类：
其他好文 时间：
2020-12-07 12:19:18
阅读次数：
6
原创java金融java金融4月5日一般我们数据量大的时候，然后就需要进行分页，一般分页语句就是limitoffset，rows。这种分页数据量小的时候是没啥影响的，一旦数据量越来越大随着offset的变大，性能就会越来越差。下面我们就来实验下：准备数据建一个测试表引擎为MyISAM（插入数据没有事务提交，插入速度快）的表。1.CREATETABLEUSER(2.idINT(20)NOTNULLa
分类：
数据库 时间：
2020-12-07 12:15:00
阅读次数：
9
一、分页器组件介绍 项目数据量大了以后，比如涉及到分页，一页一页的加载显示 django中分页器组件，把分页常用的东西，封装到一个类中 实例化得到一个对象，对象里有属性和方法 二、分页器的简单使用 #1 Paginator对象的属性和方法 book_list=models.Book.objects. ...
分类：
其他好文 时间：
2020-12-05 10:52:25
阅读次数：
8
并查集，在一些有N个元素的集合应用问题中，我们通常是在开始时让每个元素构成一个单元素的集合，然后按一定顺序将属于同一组的元素所在的集合合并，其间要反复查找一个元素在哪个集合中。这一类问题近几年来反复出现在信息学的国际国内赛题中，其特点是看似并不复杂，但数据量极大，若用正常的数据结构来描述的话，往往在 ...
分类：
其他好文 时间：
2020-12-04 11:41:44
阅读次数：
13
1.基本情况 组长博客链接：https://www.cnblogs.com/yydswlt/ 答辩总结：Beta冲刺结束了，但是项目还未结束，功能还需要继续完善，针对老师提出的新问题再进一步的改善，早日获取真实数据量。 全队谈论照片： 工作流程： 制定计划：确定Beta冲刺目标及计划，合理安排进度任 ...
分类：
其他好文 时间：
2020-12-04 10:56:37
阅读次数：
5
需求描述： -数据分页 -搜索展示() -数据列排序、多列排序 -不想写接口 -支持自定义 缺点： 不适合大量数据展示：随着数据量的增加，页面渲染速度明显变慢 Tips: 大量数据还是采用数据库切片搜索较为妥当。 插件地址： https://www.datatables.net/ 效果测试： 基础配 ...
分类：
其他好文 时间：
2020-11-27 10:53:44
阅读次数：
4
项目中用的是MongoDB，但是为什么用其实当时选型的时候也没有太多考虑，只是认为数据量比较大，所以采用MongoDB。 最近又想起为什么用MongoDB，就查阅一下，汇总汇总： 之前也用过redis，当时是用来存储一些热数据，量也不大，但是操作很频繁。现在项目中用的是MongoDB，目前是百万级的 ...
分类：
数据库 时间：
2020-11-26 15:09:14
阅读次数：
13
