Python爬取房天下某城市数据 随着互联网时代的兴起，技术日新月异，掌握一门新技术对职业发展有着很深远的意义，做的第一个demo，以后会在爬虫和数据分析方便做更深的研究，本人不会做详细的文档，有哪里不足的地方，希望大牛们指点讲解。废话不多说，上代码。 你需要的技能： （1）对前端知识熟悉会调试浏览 ...
分类：
数据库 时间：
2018-07-28 00:06:18
阅读次数：
381
1.今天的学习过程和小结 继续项目开发，使用hive进行统计查询，将结果导入mysql数据库中，然后前端使用ssm框架，将结果以图形化展示出来 2.遇到的问题 ssm框架使用不熟练 将结果导入mysql中多次出现错误 3.思维导图 ...
分类：
其他好文 时间：
2018-07-23 19:12:19
阅读次数：
154
学习总结： 学习过程：今天老师具体讲解了一下一个项目从需求分析到完结的过程，其次讲解了一下用户日志分析的具体操作过程，先将用户日志进行数据清洗，其次选择出自己需要的数据存入hive数据库再通过sooop导入mysql数据库，通过echar插件以表格形式显示出来。 总结：了解了项目的概要设计流程。了解 ...
分类：
其他好文 时间：
2018-07-23 10:56:41
阅读次数：
226
import requestsfrom lxml import etreeimport reimport pymysqlimport time conn = pymysql.connect(host='localhost',user='root',passwd='123456',db='mydb', ...
分类：
数据库 时间：
2018-07-12 10:33:43
阅读次数：
306
d:进入D盘scrapy startproject douban创建豆瓣项目cd douban进入项目scrapy genspider douban_spider movie.douban.com创建爬虫 编辑items.py： 编辑douban_spider.py： 新建MySQLPipline. ...
分类：
数据库 时间：
2018-07-07 22:16:22
阅读次数：
366
在LAMP平台中搭建Discuz!论坛?准备工作操作系统：linux Redhat6.5相关软件包：链接：https://pan.baidu.com/s/1epkmsK9S9FQpO7jKJwsvrQ 密码：fmhr?Discuz!论坛安装步骤1. 输入mysql命令进入mysql数据库并进行创建mysqlmysql>CREATE DATABASE bbs;
分类：
Web程序 时间：
2018-07-05 12:52:50
阅读次数：
172
在刚安装好mysql8，使用native连接的时候报错 首先确保服务已开启，然后通过cmd命令进入mysql的localhost数据库 然后进入mysql数据库 修改密码 重新连接数据库 OK 解决 ...
分类：
数据库 时间：
2018-07-03 15:04:39
阅读次数：
3983
2.查询 show databases; ##显示数据库use mysql; ##进入mysql数据库show tables; ##显示当前库中表的名称select * from user; ##查询user表中的所有内容 desc user; ##查询user表的结构 3.数据库以及表的建立 cr ...
分类：
数据库 时间：
2018-07-02 20:49:36
阅读次数：
186
1、实现批量导入word文档，取文档标题中的数字作为编号 2、除取上面打钩的内容需要匹配出来入库入库，其他内容全部直接入库mysql ...
分类：
数据库 时间：
2018-06-26 13:16:33
阅读次数：
242
最近新项目上线，需要对项目中的一个HTTP接口进行压力测试，以保证接口性能稳定性。该接口涉及到的主要业务是接收HTTP请求，获取请求中的xml报文参数，并将xml报文解析后存入MySQL数据库。经验总结：
如果总的CPU占用率偏高，且基本都被业务线程占用时，CPU占用率过高的原因跟JVM参数大小没有直接关系，而跟具体的业务逻辑有关。
当设置JVM堆内存偏小时，GC频繁会导致业务线程停顿增多，TPS下降，最后CPU占用率也低了；
当设置JVM堆内存偏大时，GC次数下降，TPS上升，CPU占用率立刻上升。
Dom4J 这个xml解析工具性能很强大，但在处理节点和层级都较多的xml文本时，整体解析效率依然会成为业务处理瓶颈。
分类：
其他好文 时间：
2018-06-18 22:14:42
阅读次数：
275
