摘要：使用Scrapy爬取豌豆荚全网70,000+App，并进行探索性分析。写在前面：若对数据抓取部分不感兴趣，可以直接下拉到数据分析部分。1分析背景之前我们使用了Scrapy爬取并分析了酷安网6000+App，为什么这篇文章又在讲抓App呢？因为我喜欢折腾App，哈哈。当然，主要是因为下面这几点：第一、之前抓取的网页很简单在抓取酷安网时，我们使用for循环，遍历了几百页就完成了所有内容的抓取，非
分类：
移动开发 时间：
2019-07-24 09:30:09
阅读次数：
108
写在前面： 因为工作时候经常遇到半路接手项目的情况，由于年代久远，数据库字典这块经常缺失。故写此篇，以便复用，也希望对大家有点帮助。 随笔内容不高级，如有不妥，不吝指正。 分-割-线 第一步：查询数据库 查询语句： 结果图示： 第二步：导出查询结果 导出txt： 导出结果： 第三步：一键整合至exc ...
分类：
数据库 时间：
2019-07-23 15:06:48
阅读次数：
124
写在前面：python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转 ...
分类：
编程语言 时间：
2019-07-23 12:52:13
阅读次数：
103
写在前面的话 我们在使用普通的构建任务的时候使用了 Sonar 做代码质量管理，也使用了 Publish Over SSH 插件中更新上线，但是我们在 Pipeline 怎么使用他们呢。 如果你没有查看之前的 Sonar 章节，建议倒回去专门看一遍： https://www.cnblogs.com/ ...
分类：
其他好文 时间：
2019-07-22 13:11:06
阅读次数：
107
写在前面 在书写C 代码的时候你是否有过这样的经历：经常混用属性以及公有的数据成员。毕竟他们的用法基本一致，对于使用来说好像没什么区别啊。其实我也经常使用类的公有的数据成员来定义一些常量，为了简单，在一些仅仅需要对外暴露一些常量的类中（如定义一些全局使用的常量），也都是通过定义公有数据成员实现的。直 ...
分类：
其他好文 时间：
2019-07-22 09:33:17
阅读次数：
81
1.手机APP数据----写在前面继续练习pyspider的使用，最近搜索了一些这个框架的一些使用技巧，发现文档竟然挺难理解的，不过使用起来暂时没有障碍，估摸着，要在写个5篇左右关于这个框架的教程。今天教程中增加了图片的处理，你可以重点学习一下。2.手机APP数据----页面分析咱要爬取的网站是http://www.liqucn.com/rj/new/这个网站我看了一下，有大概20000页，每页数
分类：
移动开发 时间：
2019-07-21 10:46:59
阅读次数：
125
1.写在前面今天要抓取的一个网站叫做微医网站，地址为https://www.guahao.com，我们将通过python3爬虫抓取这个网址，然后数据存储到CSV里面，为后面的一些分析类的教程做准备。本篇文章主要使用的库为pyppeteer和pyquery首先找到医生列表页https://www.guahao.com/expert/all/全国/all/不限/p5这个页面显示有75952条数据，实际
分类：
编程语言 时间：
2019-07-21 10:33:15
阅读次数：
126
0 写在前面 前两天多看了两章一直都没更新，今天写的时候发现有些忘了，刚好捡起来回顾一下，近来也没什么事，兴趣来了就在图书馆泡一天看看自己喜欢的。再次重复下，这是第一遍，加之基础不好，明年才有可能出去实习，现在主要看看大概的知识框架，后续还会回头细看。扯远啦，步入正题。 相比于监督学习，非监督学习的 ...
分类：
其他好文 时间：
2019-07-21 01:08:02
阅读次数：
96
原文链接：https://hackernoon.com/the 2018 devops roadmap 31588d8670cb 原文作者：javinpaul 翻译君：CODING?戴维奥普斯 写在前面 我们在推进国内研发团队 DevOps 落地的过程中，发现不少研发组织在积极寻求 DevOps 技 ...
分类：
其他好文 时间：
2019-07-19 12:10:29
阅读次数：
122
第三章 经典算法 0 写在前面 本章介绍了 SVM，逻辑回归和决策树 三个经典算法。这三个算法在李航的《统计学习方法》中分别拿出了三章重点讲解。本节的提问需要有相应的基础，通过书中的提问发现自己基础太弱了，而基础知识最能考察一个人的学习能力。（记得考研时张宇说过，基础知识不等于简单知识，越是抽象的基 ...
分类：
编程语言 时间：
2019-07-18 00:21:27
阅读次数：
199
