一. 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy ...
分类：
其他好文 时间：
2019-10-07 13:04:31
阅读次数：
69
一、引入uni-indexed-list、uni-icons组件 从uni-app插件市场下载或从HBuilder X提供的hello uni-app模板中复制 二、页面中引用 三、对请求获得的数据处理，最终要和官方模板提供的数据结构类似，如下 3.1、模拟数据 3.2、提取数据中name字段的首字 ...
分类：
移动开发 时间：
2019-10-04 23:09:16
阅读次数：
129
最近做Kaggle的图像分类比赛：RSNA Intracranial Hemorrhage Detection (https://www.kaggle.com/c/rsna-intracranial-hemorrhage-detection/overview)以及阅读Yolov3 源码的时候接触到深 ...
分类：
其他好文 时间：
2019-10-04 09:20:58
阅读次数：
453
动态数据连接，使JOB得以复用 移动执法系统在目前的主要的部署策略为1+N的方式，即总队部署一套，地市各部署一套，且基本都在环保专网。各地市的业务数据需要推送到总队系统，以便总队系统做整体的监督、决策。在整个数据对接过程中，基于Kettle开发的各地市对接省厅的ETL程序，除了数据链接信息不同之外， ...
分类：
其他好文 时间：
2019-09-28 00:54:03
阅读次数：
113
前端的动态数据交互离不开服务端提供的接口，在一个前后端分离的中后台项目中，接口的请求和响应是必不可少的。 那么在架构一个中后台系统的时候，我们如何有效的管理和封装接口，提高项目接口调用的统一性、可维护性，以及在后端接口还没有开发完成，在仅有契约的基础上我们如何有效的模拟接口的调用呢？ 接下来便会对以 ...
分类：
其他好文 时间：
2019-09-19 14:02:01
阅读次数：
94
编程模型 ●编程模型概述 一个流的数据源从逻辑上来说就是一个不断增长的动态表格，随着时间的推移，新数据被持续不断地添加到表格的末尾。 用户可以使用 Dataset/DataFrame 函数式API或者 SQL 来对这个动态数据源进行实时查询。每次查询在逻辑上就是对当前的表格内容执行一次 SQL 查询 ...
分类：
其他好文 时间：
2019-09-11 10:16:14
阅读次数：
109
第一章 概论 1.1 软件=程序+软件工程 程序 =数据结构+算法 数据 静态数据 动态数据 源代码管理的问题也叫配置管理，具体验证的过程叫做软件测试 新的成员要尽快读懂已有的程序，了解程序设计，这叫程序理解 团队新老成员要一起修复各种各样的问题，这叫软件维护，或者服务运营，这一系列的过程就叫软件的 ...
分类：
其他好文 时间：
2019-09-09 09:15:52
阅读次数：
111
1.Python是一种解释型、面向对象、动态数据类型的高级程序设计语言 2.Python用严格的缩进表示代码块 3.Python有着丰富的第三方库 安装(window下) 访问Python官网下载安装包 选择 Download Windows x86-64 executable installer ...
分类：
编程语言 时间：
2019-09-08 12:27:12
阅读次数：
82
1，为什么要进行数据库的拆分在LNMP架构中，动态数据的读取都要通过PHP去调取数据库数据，这样一个过程如果实在访问数量庞大的情况下一台数据库是难以承担的，必然导致内存溢满，读取不过来而导致web宕机，因此一般架构中Nginx和PHP是部署在一起的。数据库作为后端，它的数据处理速度就代表了整个web架构的效率，所以数据库单独部署且不止一台数据库服务器2，数据库拆分后解决了什么问题1）提高了数据库处
分类：
数据库 时间：
2019-09-03 18:08:18
阅读次数：
127
Memcached介绍 官网地址 Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度。 Memcached 顾名思义，意味着 “内存缓存”，所有缓存的内容都在服务器的内存 ...
分类：
系统相关 时间：
2019-09-01 10:45:43
阅读次数：
114
