码迷,mamicode.com
首页 >  
搜索关键字:python爬虫 mongodb ji    ( 12880个结果
使用selenium模拟浏览器抓取淘宝信息
通过Selenium模拟浏览器抓取淘宝商品美食信息,并存储到MongoDB数据库中。 from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdri ...
分类:其他好文   时间:2020-02-09 14:58:25    阅读次数:144
爬虫的简单操作
今天学习了python爬虫的简单操作。 1.学会创建文件夹和创建文件: 1 import os 2 3 def mkdir(path): 4 if os.path.exists(path):###判断是文件夹否存在,否则有可能会报错 5 print("The path has already exi ...
分类:其他好文   时间:2020-02-09 14:57:56    阅读次数:108
scp小结
一、scp命令 scp命令用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读read only system时,用scp可以帮你把文件移出来。另外,scp还非常不占资源,不会提 ...
分类:其他好文   时间:2020-02-08 15:38:21    阅读次数:74
图解 MongoDB 地理位置索引的实现原理
地理位置索引支持是MongoDB的一大亮点,这也是全球最流行的LBS服务foursquare 选择MongoDB的原因之一。我们知道,通常的数据库索引结构是B+ Tree,如何将地理位置转化为可建立B+Tree的形式,下文将为你描述。 首先假设我们将需要索引的整个地图分成16×16的方格,如下图(左 ...
分类:数据库   时间:2020-02-08 11:46:58    阅读次数:86
MongoDB,使用C#实现2d地理位置检索
这两天在研究mongoDB,从零开始接触它,为什么要研究它呢,因为它支持2d地图索引,而且速度非常快,可以用它来做类似微信的(摇一摇功能),不过网上很难搜到.net操作的,而且就算搜索到了也不能用,也许是驱动版本的问题。总之到处都找不到可用的代码,只好自己慢慢研究调试,终于成功查询到了附近的数据了。 ...
分类:数据库   时间:2020-02-08 11:41:51    阅读次数:101
MongoDB的地理位置索引
背景 我们平常打开一些App的时候,经常有一个“查询周边景点”的功能,如我在高德里面就查询到了附近的景点。 这种计算如果通过普通的关系型数据库,那对服务器和数据库的性能要求就太高了。 我们可以通过MongoDB自带的地址位置索引来实现。 如何使用前期准备:插入数据我们先插入四条数据,即店铺的类型,名 ...
分类:数据库   时间:2020-02-08 11:24:52    阅读次数:85
汉语-成语-见笑大方:百科
ylbtech-汉语-成语-见笑大方:百科 见笑大方,汉语成语,拼音是jiàn xiào dà fāng,意思是被见识广博的人所笑话。也指让内行人笑话 。出自《庄子·秋水》。 1.返回顶部 1、 中文名:见笑大方外文名:make a laughing stock of oneself before ...
分类:其他好文   时间:2020-02-08 09:43:53    阅读次数:86
微博python爬虫weiboSpider注意事项
首先我看的weiboSpider爬虫项目教程出自https://github.com/dataabc/weiboSpider 1.这爬取的是手机端的,所以我把网址https://weibo.com的.com改成了cn,需要爬取的id和cookie也是在这登录后按教程找的。 主页网址上的连续数字不一定 ...
分类:编程语言   时间:2020-02-08 09:15:12    阅读次数:285
寒假学习记录第七天
Python爬虫的一个案例 爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据 import requests from fake_useragent import UserAgent ua = UserAgent(use_cache_server=False,verify_ssl ...
分类:其他好文   时间:2020-02-08 00:38:03    阅读次数:75
数据库
第一部分 初始Mysql 关系型:如sqllite,db2,oracle,access,sql server,MySQL,注意:sql语句通用 非关系型:mongodb,redis,memcache 初识sql语句 #进入mysql客户端 $mysql mysql> select user(); # ...
分类:数据库   时间:2020-02-07 20:58:02    阅读次数:103
12880条   上一页 1 ... 98 99 100 101 102 ... 1288 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!