这里我们用scrapy 框架爬取数据爬虫文件里面的代码：# -*- coding: utf-8 -*-import jsonimport reimport osimport scrapyfrom copy import deepcopyfrom scrapy_redis.spiders import ...
分类：
其他好文 时间：
2019-09-26 14:34:28
阅读次数：
99
提取HTML数据 在我爬取链家，携程网站时候遇到问题，明明response 200，但select返回是空值。 目前猜测原因是：存放我想获取数据的网址不是在一开始写入的网址，我resp.text没有看见相关数据。这个以后学习如何处理。 提取Json数据 暂时不会，大致看了下，像字典存储 ...
分类：
编程语言 时间：
2019-09-22 17:55:34
阅读次数：
94
1 介绍一下项目：项目背景，使用的方法 1.1 特征组合如何组合的 1.2 如何选择的特征，GBDT如何选择特征？（没懂什么意思，gbdt训练的时候应该是用的所有的特征，为什么还会有特征选择） 1.3 介绍一下blending方法。 1.4 介绍一下所有的模型各自使用的特征？ 2 介绍一下特征提取的 ...
分类：
其他好文 时间：
2019-09-17 22:48:24
阅读次数：
117
apollo作为携程开源的配置中心,很多大厂在使用,在此记录下安装历程 服务器环境: 安装mysql 1.拉取镜像 docker pull idoop/docker-apollo 2.新建3个数据库,建库脚本 PortalDB ConfigDB 3.新建容器,注意 "=" 附近不能有空格,这个坑搞我 ...
分类：
其他好文 时间：
2019-09-07 10:22:34
阅读次数：
774
携程爬取阳光问帖子：进行了简单的数据存储，数据量共145226条，爬取时间为：3.65小时，时间感觉要多于这个时间。 代码如下： 复习协程的知识： 多线程会抢抢夺公共资源，因此会造成公共资源的不安全，需要通过线程锁进行解决，那么多个携程为什么不存在这个情况呢？ 因为多个协程也是在一个线程里面进行运行 ...
分类：
其他好文 时间：
2019-09-01 21:48:18
阅读次数：
111
@[toc] 1.说明 上个博文携程实现的多任务 依然是一个进程，一个线程，只不过执行了不同的代码部分 这里使用gevent，或者greenlet 当gevent执行的时候遇到gevent.sleep(time)就会切换执行 2.代码 关于作者 "个人博客网站" "个人GitHub地址" 个人公众号 ...
分类：
编程语言 时间：
2019-08-23 10:28:25
阅读次数：
89
宕机时间 2015 年 5 月 28 日 携程网宕机事件还在持续，截止 28 号晚上 8 点，携程首页还是指向一个静态页面，所有动态网页都访问不了。关于事故根源，网上众说纷纭。作为互联网运维老兵，尝试分析原因，谈谈我的看法。 宕机原因分析 网上有各种说法，有说是数据库数据和备份数据被物理删除的。也有 ...
分类：
Web程序 时间：
2019-08-22 10:59:48
阅读次数：
106
最近更新比较少，内心十分的愧疚，实在是太忙了！向各位读者说句抱歉。 今天要讲的这个东西说实话，我也是今天才知道，一个我们大多数人可能从来都没用过的语法，哪就是传说中的【协程 Coroutine】。 可能你会说，携程谁不知道啊，不就是哪个用来订机票订酒店的软件么，这有什么好学的！这样的话你就错了，此协 ...
分类：
其他好文 时间：
2019-08-22 10:52:44
阅读次数：
91
1.今天下午一口气整理了收藏里所有的携程面经题目，比起4月份整理的简略版丰富了2-3倍，原来携程也可以问得如此之难。上午折腾博客园浪费了好几小时，争分夺秒的时候折腾华而不实的东西太浪费时间了，不应该。晚上复习毫无方向性，瞎看几乎等于没学，糟糕的很。总之，今天宝贵的一天过去了，自己连集合的基本问题都没 ...
分类：
其他好文 时间：
2019-08-20 00:54:56
阅读次数：
137
首先，新建一个场景，在场景中创建一个Cube对象。新建一个名称为TestInvoke的脚本文件，并添加到Cube游戏物体上。 首先，新建一个场景，在场景中创建一个Cube对象。新建一个名称为TestInvoke的脚本文件，并添加到Cube游戏物体上。 首先，新建一个场景，在场景中创建一个Cube对象 ...
分类：
其他好文 时间：
2019-08-11 16:54:47
阅读次数：
132
