1.pyquery简介
python中的pyquery模块语法与jquery相近,可用来解析HTML文件。官方文档地址:https://pythonhosted.org/pyquery/ 。通过HTML中的标签、id、给定的索引等来获取元素,使得解析HTML文件极为方便。
2.实例
2.1 爬取豆瓣电影页面中主演
右键chrome中的审查元素,观察到主演的标...
                            
                            
                                分类:
编程语言   时间:
2014-07-22 23:02:54   
                                阅读次数:
455
                             
                         
                    
                        
                            
                            
                                最近在做语义方面的问题,需要反义词。就在网上找反义词大全之类的,但是大多不全,没有我想要的。然后就找相关的网站,发现了http://fanyici.xpcha.com/5f7x868lizu.html,还行能把“老师”-“学生”,“医生”-“病人”这样对立关系的反义词查出来。一开始我想把网站中数据库...
                            
                            
                                分类:
编程语言   时间:
2014-05-16 08:10:36   
                                阅读次数:
465
                             
                         
                    
                        
                            
                            
                                本文通过python 来实现这样一个简单的爬虫功能,把我们想要的图片爬取到本地。...
                            
                            
                                分类:
编程语言   时间:
2014-05-15 15:09:46   
                                阅读次数:
450
                             
                         
                    
                        
                            
                            
                                能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。
           现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。
                         
      项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-...
                            
                            
                                分类:
其他好文   时间:
2014-05-04 00:22:05   
                                阅读次数:
476
                             
                         
                    
                        
                            
                            
                                前文中我们把网络爬虫爬取的数据保存为JSON格式,但为了能够更方便地处理数据,我们希望把这些数据导入到MySQL数据库中。phpMyadmin可以把MySQL数据库中的数据导出为JSON格式文件,但却不能把JSON格式文件导入到MySQL数据库。为了实现这个目标,可以编写Python脚本将JSON格式数据转换为SQL语句以便导入MySQL数据库。
JSON文件tencent.json...
                            
                            
                                分类:
数据库   时间:
2014-04-28 10:33:41   
                                阅读次数:
479