import cx_Oracle as cx import csv #flag是你的日期列在哪一列,默认第一列 def save_data(reader,info,table_data,flag =1): #目标:1、如果数据库中没有数据,那么所有数据都插入 # 2、如果数据库里数据日期大于当前需要 ...
分类:
数据库 时间:
2020-04-23 11:48:31
阅读次数:
79
一.主题式网络主题式网络爬虫设计方案 1.爬虫名称:爬取电影 Top 500 数据 2.爬取内容:爬取电影排名,评分,介绍 3.网络爬虫设计方案概述: 思路:通过分析网页源代码,找出数据所在的标签,通过爬虫读取数据保存到csv文件中,读取文件,对数据进行清洗和处理,数据分析与可视化处理。 技术难点: ...
分类:
其他好文 时间:
2020-04-22 22:49:46
阅读次数:
79
pandas.read_csv() 报错 OSError: Initializing from file failed,一般由两种情况引起:一种是函数参数为路径而非文件名称,另一种是函数参数带有中文。 对于第一种情况很简单,原因就是没有把文件名称放到路径的后面,把文件名称添加到路径后面就可以了。还可 ...
分类:
其他好文 时间:
2020-04-22 13:38:52
阅读次数:
65
之前在做项目的时候发现,excel出现问题:当excel或csv文件第一次打开时,双击一次打开能打开,需要双击第二次才显示内容 解决方案 cmd->regedit 打开注册表,找到计算机\HKEY_CLASSES_ROOT\Excel.Sheet.12\shell\Open\command 双击名称 ...
分类:
其他好文 时间:
2020-04-21 18:28:30
阅读次数:
319
import requests from lxml import etree from bs4 import BeautifulSoup import csv url = 'http://www.chinaclear.cn/cms-search/monthview.action?action=chi ...
分类:
其他好文 时间:
2020-04-21 16:44:28
阅读次数:
67
一、前言 很多童鞋苦恼于要交易的合约很多,每天早上启动量化是个很痛苦的工程。其实这是个非常容易解决的问题,python的扩展性可以是无限的,限制的只是你的相像力。 二、实现 其实就是很简单的文件读取和写入。 1)在电脑上的任何盘创建两个文件CONTRACT1.CSV、CONTRACT2.CSV 注意 ...
分类:
其他好文 时间:
2020-04-21 10:01:47
阅读次数:
88
修改jmeter.propertries:jmeter.save.saveservice.output_format=csv 运行命令并输出html报告:jmeter -n -t [jmx file] -l [results file] -e -o [Path to output folder] - ...
分类:
其他好文 时间:
2020-04-21 00:06:16
阅读次数:
63
一. 项目需求 根据用户购买的商品,对购买数据做关联分析 获得用户的商品频繁模式,比如哪些商品经常被一起购买 根据用户的频繁模式,可以做相应的打包销售或产品组合销售 二. 项目数据 数据特征:交易ID(order_id)和商品名称(product_name) 数据格式:事务性数据 每次交易只有一个唯 ...
分类:
其他好文 时间:
2020-04-20 21:59:51
阅读次数:
115
filez Easy use for fetch data from kinds of files Feature Support load txt,csv,excel,conf/ini,json,yaml file to list or dict Strip lines for txt Ensur ...
分类:
其他好文 时间:
2020-04-20 15:45:55
阅读次数:
81
import pandas as pd df_policy = pd.read_excel('e:\policy.xlsx') df_sh01 = pd.read_csv('e:\sh01.csv', encoding='gbk') list_not = [] set_found = set() f ...
分类:
其他好文 时间:
2020-04-20 15:32:16
阅读次数:
303