1 # -*- coding: utf-8 -*- 2 """ 3 Spyder Editor 4 本文件自用 5 是数据处理的基本过程语句 6 包括文件读取、缺失值的识别和处理、异常值识别、重复值删除、数据拼接、列联表操作等 7 """ 8 %pwd 9 #读取csv文件 10 import pa ...
分类：
编程语言 时间：
2019-11-05 16:57:41
阅读次数：
89
在项目中对后台进行测试时，经常会遇到要在数据库新增数据，那么如何快速新增数据来提高工作效率呢？ 现整理如下： 代码内容（csv_to_mysql.py）： 运行结果： 以上是以本地数据库作为例子，实际工作中可根据自己的需求修改数据库连接和SQL语句 ...
分类：
数据库 时间：
2019-11-02 17:20:24
阅读次数：
206
1.图片下载 # 百度图片:http://image.baidu.com/# 搜狗图片:https://pic.sogou.com/ # 图片爬取:1).寻找图片下载的url: elements与network抓包2).浏览器中访问url, 进行验证3).编写代码获取url4).请求url地址, 获 ...
分类：
其他好文 时间：
2019-10-28 21:05:27
阅读次数：
120
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
Web程序 时间：
2019-10-28 16:16:23
阅读次数：
116
select * from users into OUTFILE 'F:/Develop/MySQL57/Uploads/users.csv' CHARACTER SET utf8 FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED ...
分类：
数据库 时间：
2019-10-27 12:23:07
阅读次数：
81
import pandas as pd a= pd.read_csv(a_csv_file, usecols=[1]) b= pd.read_csv(b_csv_file, usecols=[1]) a_list = a.values.tolist() b_list = b.values.tolis ...
分类：
其他好文 时间：
2019-10-25 23:23:51
阅读次数：
89
1.功能类 using System;using System.Collections.Generic;using System.ComponentModel;using System.IO;using System.Linq;using System.Reflection;using System ...
分类：
Web程序 时间：
2019-10-25 18:24:14
阅读次数：
92
1、准备参数的.text文件。 postman支持三种参数的方式，分别为.text文件，.csv文件，json文件。此处使用.text文件。编码格式使用utf-8 2、替换请求参数 3、设置Runner 4、查看执行结果 5、添加断言 ...
分类：
其他好文 时间：
2019-10-24 13:27:04
阅读次数：
91
背景: 使用脚本从S3下载下来的CSV文件打开发现是乱码,但是在网页上面点击下载按钮下载后却能正常打开. 研究发现,在S3文件属性的元数据中有Content Encoding值是gzip 浏览器下载的时候会识别这个值,然后在帮你自动减压后下载. 但是利用官方boto3包的download_fileo ...
分类：
编程语言 时间：
2019-10-23 18:10:41
阅读次数：
148
