1. 导入数据 webuse drugtr,clear *webuse -- Use dataset from Stata website stset,clear *上一行命令导入进来的数据是“生存时间数据”，会比最原始的数据多四列，这一行命令的目的是重置为原始数据，之所以这样做，是为了显示数据处理 ...
分类：
其他好文 时间：
2021-01-01 12:40:36
阅读次数：
0
随着互联网信息技术的飞速发展，数据量不断增大，业务逻辑也日趋复杂，对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。 为了解决这一系列问题，系统架构也在不断演进。传统的集中式系统已经逐渐无法满足要求，分布式系统被使用在更多的场景中。 ...
分类：
其他好文 时间：
2021-01-01 11:52:59
阅读次数：
0
> 原文发表于2017-03-31。 ## 问题 昨天凌晨1点多，可能是V友太热情，或者爬虫太勤奋，轻境界的服务器宕机了，悄悄地，没有留下错误日志。 我上午收到用户反馈，赶快先重启服务器压压惊，再来分析原因。 连错误日志都没有，这是什么程度的问题呢？ 最大的可能性是 JVM内存不够用 或 线程数过多 ...
分类：
其他好文 时间：
2020-12-30 11:28:37
阅读次数：
0
1、页面 2、BLL用于逻辑数据处理,即是对数据库返回的数据进行特殊处理返回至webform 3、DAL连接好数据库每一个表,将所需要的值返回,操作的调用存储过程 ...
分类：
Web程序 时间：
2020-12-30 11:26:53
阅读次数：
0
之前领导安排了一任务，就是想要把一网站上的东西爬下来，然后改点东西，自己再做一个静态站放到自己的内建服务器上； 其实就想想看这种需求其实却是还蛮多的； 因此一个强大的网站爬虫还是需要的： 推荐 爬站利器-teleport ultra 下载地址：https://pan.baidu.com/s/1lDN ...
分类：
其他好文 时间：
2020-12-30 11:19:28
阅读次数：
0
可以看出途家做了极多的反爬措施，无论是假数据、js加密，还是各种极高耦合性的加密参数，还是IP或者登陆校验，以至于现在取消了PC网页端的情况，但目前来看都不是很难攻克。 ...
分类：
其他好文 时间：
2020-12-30 10:46:22
阅读次数：
0
简介 Scrapy是爬取网站，提取结构性数据并存储的应用框架。对爬取过程中的请求、返回、解析、存储、调度等流程提供模块化支持。 items模块——定义需要爬取的数据字段 保存爬取到的数据的容器，python的字典类型。根据网站数据对item进行定义字段。 # items示例 import scrap ...
分类：
其他好文 时间：
2020-12-29 11:43:51
阅读次数：
0
在resource里引入Library selenium2library Library String (正则对于数据处理) 操作 关键字 打开浏览器 Open Browser 地址 浏览器(谷歌:gc 火狐:ff) 控制浏览器最大化 Maximize Browser Window 隐式等待元素显示 ...
分类：
其他好文 时间：
2020-12-29 11:28:06
阅读次数：
0
最近收到业务需求，了解puppeteer，做自动化登录，获取cookie值 首先自己得澄清一下，之前对于puppeteer是个什么玩意完全不知道，百度一下出来的题目都是爬虫利器，详细了解了之后才发现主要有一下几个功能会经常用到puppeteer库： 1.生成页面PDF 2.做自动化测试（所谓的自动化 ...
分类：
其他好文 时间：
2020-12-29 11:13:37
阅读次数：
0
一、Scrapy的简介 Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下 它主要由五大组件和两中间件组成： 五大组件： 1、引擎（ENGINE)：用来处理整个系统的 ...
分类：
其他好文 时间：
2020-12-29 11:11:00
阅读次数：
0
