提取HTML数据 在我爬取链家，携程网站时候遇到问题，明明response 200，但select返回是空值。 目前猜测原因是：存放我想获取数据的网址不是在一开始写入的网址，我resp.text没有看见相关数据。这个以后学习如何处理。 提取Json数据 暂时不会，大致看了下，像字典存储 ...
分类：
编程语言 时间：
2019-09-22 17:55:34
阅读次数：
94
海量数据处理 分而治之 核心思想： 把数据分发到多个节点 移动计算到数据附近 计算节点进行本地数据处理 优选顺序，次之随机读 一、HDFS概述 修改，先删除，再重新生成 1.架构 namenode维护着HDFS中存储的文件的元数据，以及每个文件块的列表，以及块所在datanode的信息。nameno ...
分类：
其他好文 时间：
2019-09-22 16:41:19
阅读次数：
92
分布式一致性算法主流方案：2PC、3PC、leader/follower、paxos 一致性有两种场景： 1、多份相同的数据，在一处修改，保证多份一致 2、一个业务变更多份不同的数据，要保持一致，要成功都成功，要失败都失败 产生不一致的原因： 1、异常操作导致不成功 2、网络分区 3、应用故障 两阶 ...
分类：
编程语言 时间：
2019-09-22 14:28:58
阅读次数：
77
仿佛是两套题凑的…… 排版gugugu T1 输出NIE，TAK？？？ 想到了一个AC自动机题（滑稽 猛地一看仿佛还可做…… T2 线段树？？？ T3 字符串？？？ 8 MB...能干个×× T1 直接暴力判吧…… 好像有点东西…… 首先要对k取模…… （黑块特判是否一步迈不过去，白块特判是否跨不过 ...
分类：
其他好文 时间：
2019-09-22 12:25:05
阅读次数：
82
(1)什么是WebSocket? WebSocket是HTML5中的协议，支持持久连续，http协议不支持持久性连接。Http1.0和HTTP1.1都不支持持久性的链接，HTTP1.1中的keep alive，将多个http请求合并为1个 (2)WebSocket是什么样的协议，具体有什么优点？ H ...
分类：
Web程序 时间：
2019-09-21 12:59:46
阅读次数：
126
配置方式 注意，只在mac下测过 首先配置ssh session clone，保证你新开终端窗口时，跳板机的session在窗口间共享, 以及配置30秒向服务端发一个keep-alive包保持会话不会闲时中断 编辑 ~/.ssh/config 增加如下内容 其次在 ~/.bashrc 或者 ~/.z ...
分类：
其他好文 时间：
2019-09-20 15:18:22
阅读次数：
132
P02 Matching GameProgramming II (CS300) Fall 2019Pair Programming: ALLOWEDDue: 9:59PM on September 18thP02 Matching GameOverviewThis assignment involv ...
分类：
其他好文 时间：
2019-09-19 19:35:02
阅读次数：
50
前提安装好Nginx后主配置文件如下：（压缩和延时可忽略） location / { return 400;} location /test { return 401;} location ^~ /test/ { return 402;} location ^~ /test/aaa/ { retur ...
分类：
其他好文 时间：
2019-09-18 11:07:27
阅读次数：
120
1.pandas的去重函数drop_duplicates DataFrame.drop_duplicates(subset=None, keep='first', inplace=False) 其中subset参数为用来指定要去重的列，默认是所有列； keep参数有first,last,False三 ...
分类：
其他好文 时间：
2019-09-18 10:47:51
阅读次数：
95
本文使用heartbeat做高可用，主节点192.168.0.204，备节点192.168.0.205，vip192.168.0.206，防火墙启动状态 先启动主节点，再启动备节点后，发现以下问题： 主节点： 备节点： 启动一段时间后，vip192.168.0.206同时出现在双节点 查看DEBUG ...
分类：
其他好文 时间：
2019-09-17 16:04:00
阅读次数：
107
