一.需求分析 最近接到一个需求,导入十万级,甚至可能百万数据量的记录了车辆黑名单的Excel文件,借此机会分析下编码过程; 首先将这个需求拆解,发现有三个比较复杂的问题: 问题一:Excel文件导入后首先要被解析为存放对象的列表,数据量大的情况下可能会导致内存溢出,解析时间过长; 问题二:插入数据库 ...
分类：
数据库 时间：
2019-10-29 21:57:57
阅读次数：
133
【现象】：EJF调用PLM的接口，短时间内出现大量下单请求，导致网络阻塞，数据库连接池达到上限，接口崩溃； 【环境】：服务器使用的是阿里云，centos7 + docker + redis + netcore，网络带宽5M，数据库最大连接数设置了3000； 【分析】：接口出现崩溃现象后—— 1、检查 ...
分类：
其他好文 时间：
2019-10-25 16:45:44
阅读次数：
92
神经网络 一些神经元的输出会变成另外一些神经元的输入，一般以层来组织，最常见的是全连接神经网络，其中两个相邻层中每一个层的所有神经元与另一个层的所有神经元相连，每个层内部的神经元不相连。 一般的，N层神经网络并不会把输入层算进去，因此一个一层的神经网络是指没有隐藏层，只有输入层和输出层的神经网络。L ...
分类：
其他好文 时间：
2019-10-22 18:11:54
阅读次数：
93
需求： 导入文件，查看原始数据 将人口数据和各州简称数据进行合并 将合并的数据中重复的abbreviation列进行删除 查看存在缺失数据的列 找到有哪些state/region使得state的值为NaN，进行去重操作 为找到的这些state/region的state项补上正确的值，从而去除掉sta ...
分类：
其他好文 时间：
2019-10-20 20:19:13
阅读次数：
258
认识 梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模), 我感觉, 其实就是 偏导数向量方向呗 , 沿着这个 向量方向可以找到局部的极值 . Python from random impor ...
分类：
编程语言 时间：
2019-10-13 20:58:01
阅读次数：
110
造成梯度爆炸的原因是求导得到的值大于1，造成导数很大，损失函数的值沿着梯度的方向呈下降趋势，然而，如果梯度（偏导数）很大话，就会出现函数值跳来跳去，收敛不到最小值。这个时候可以用梯度裁剪来解决问题。 梯度裁剪：对梯度进行裁剪，论文提出对梯度的L2范数进行裁剪，也就是所有参数偏导数的平方和再开方。主要 ...
分类：
其他好文 时间：
2019-10-13 11:08:42
阅读次数：
88
一、Tensor概念 张量：多维数组，标量、向量、矩阵的高维拓展 Tensor与Variable data：被包装的Tensor grad：data的梯度 grad_fn：创建Tensor的Function，自动求导的关键 requires_grad:指示是否需要梯度 is_leaf：指示是否是叶子 ...
分类：
其他好文 时间：
2019-10-12 19:05:45
阅读次数：
97
我认为用李代数表示旋转的 对于函数: 对其用扰动模型求导表示为: 上述表示法的意思是:用一个0附近的李代数对应的李群乘在目标函数中的 s ...
分类：
其他好文 时间：
2019-10-09 22:32:57
阅读次数：
205
设计函数求一元多项式的导数。（注：x?n??（n为整数）的一阶导数为nx?n?1??。） 输入格式: 以指数递降方式输入多项式非零项系数和指数（绝对值均为不超过 1000 的整数）。数字间以空格分隔。 输出格式: 以与输入相同的格式输出导数多项式非零项的系数和指数。数字间以空格分隔，但结尾不能有多余 ...
分类：
其他好文 时间：
2019-10-05 22:22:09
阅读次数：
104
PTA数据结构与算法题目集(中文) 7-16 7-16 一元多项式求导 (20 分) 7-16 一元多项式求导 (20 分) 7-16 一元多项式求导 (20 分) 设计函数求一元多项式的导数。 输入格式: 以指数递降方式输入多项式非零项系数和指数（绝对值均为不超过1000的整数）。数字间以空格分隔 ...
分类：
编程语言 时间：
2019-10-04 19:19:21
阅读次数：
91
