从Tushare获取历史行情数据，分为两种，一种是后复权（daily_hfq）数据，一种是不复权（daily）数据，获取到的数据存储在MongoDB数据库中，每个集合(collection)中,数据字段包含如下： 抓取指数历史行情 流程图如下 首先准备好数据库的连接，可查看 "python对Mong ...
分类：
其他好文 时间：
2020-04-20 12:00:54
阅读次数：
520
requests安装 用pip安装requests模块 pip install requests 一、Get的使用 格式：get(url, params=None, **kwargs) Get常见查询参数 req.status_code：响应状态码 req.raw：原始响应体，使用r.raw.rea ...
分类：
编程语言 时间：
2020-04-20 01:26:03
阅读次数：
89
# 统计字典或者json字符串的深度 def depth(x): if type(x) is dict and x: return 1 + max(depth(x[a]) for a in x) if type(x) is list and x: return 1 + max(depth(a) fo ...
分类：
Web程序 时间：
2020-04-19 17:43:11
阅读次数：
93
一、网络爬虫设计方案 1、爬虫名称：百度汽车热搜 2、内容：爬取百度不同汽车的热搜指数 3、概述：首先查找源代码，分析请求方式和url地址，再使用requests模块获取网页源代码，再使用BeautifulSoup解析得到所需要的数据，然后使用matplotlib实现数据可视化分析，最后进行小结。 ...
分类：
其他好文 时间：
2020-04-19 16:24:21
阅读次数：
126
1.oracle 启停服务 停止 oraclesu - oraclelsnrctl stop;sqlplus / as sysdbashutdown 启动 oracle su - oraclesqlplus / as sysdbastartupquitlsnrctl start --查看数据库监听状 ...
分类：
数据库 时间：
2020-04-19 14:40:09
阅读次数：
80
方法一： list1 = ['k1','k2','k3'] list2 = ['v1','v2','v3'] dic = dict(map(lambda x,y:[x,y],list1,list2)) >>> print(dic) {'k3': 'v3', 'k2': 'v2', 'k1': 'v1 ...
分类：
编程语言 时间：
2020-04-18 21:17:48
阅读次数：
76
1. 应用K-means算法进行图片压缩 读取一张图片 观察图片文件大小，占内存大小，图片数据结构，线性化 用kmeans对图片像素颜色进行聚类 获取每个像素的颜色类别，每个类别的颜色 压缩图片生成：以聚类中收替代原像素颜色，还原为二维 观察压缩图片的文件大小，占内存大小 完整代码： from sk ...
分类：
编程语言 时间：
2020-04-17 23:59:40
阅读次数：
132
hello，小伙伴们，大家好，今天给大家推荐这个开源项目 是非常适合IT团队在线共享文档的工具。一个非常适合IT团队的在线API文档，技术文档工具.感兴趣的小伙伴不妨去看一下。 ShowDoc是什么? 每当接手一个他人开发好的模块或者项目，看着那些没有写注释的代码，我们都无比抓狂。文档呢？！文档呢？ ...
一、前言 这方面的资料很多，重复的写没必要，但是最近一直在学习身份验证和授权相关东东，为了成体系还是写一篇，主要是从概念上理解identity系统。 参考：https://www.cnblogs.com/r01cn/p/5179506.html 二、概述 几乎所有系统都包含用户、角色、权限、登录、注 ...
分类：
Web程序 时间：
2020-04-17 09:45:37
阅读次数：
67
这里以将Apache的日志写入到ElasticSearch为例，来演示一下如何使用Python将Spark数据导入到ES中。 实际工作中，由于数据与使用框架或技术的复杂性，数据的写入变得比较复杂，在这里我们简单演示一下。 如果使用Scala或Java的话，Spark提供自带了支持写入ES的支持库，但 ...
分类：
编程语言 时间：
2020-04-17 00:06:51
阅读次数：
83
