一:DataX下载 下载页面地址:https://pan.baidu.com/s/10J83j25_ohC4O3XHl9diDQ 提取码: cq6n 二:安装 将下载后的压缩包直接解压安装到电脑上就可以了 三:测试 要想运行datax先要安装python环境: 检验是否存在python环境在cmd中 ...
分类:
数据库 时间:
2020-03-04 18:58:56
阅读次数:
435
今天在使用python爬取数据并将其写入mysql数据库时,使用该如下语句: cursor.execute( "insert into comments_p_spider(owner_id,from_name,content,create_time,score,comment_level) valu ...
分类:
数据库 时间:
2020-02-15 22:06:24
阅读次数:
228
摘要 通过实现MapReduce计算结果保存到MySql数据库过程,掌握多种方式保存计算结果的技术,加深了对MapReduce的理解; Api 文档地址:http://hadoop.apache.org/docs/current/api/index.html maven资源库:https://mvn ...
分类:
数据库 时间:
2020-02-09 23:58:39
阅读次数:
155
操作系统: centos版本 7.4 防火墙 关闭 selinux 关闭 python版本 3.6 mysql版本 5.7 #操作系统性能脚本 [root@localhost sql]# cat cpu_mac.py #!/usr/bin/env python3 #coding:utf-8 impo ...
分类:
数据库 时间:
2020-01-29 12:29:11
阅读次数:
140
新建用户 指定用户名和密码 服务器权限勾中3个 权限-添加权限,去掉勾REference 和 Grant 登入mysql数据库刷新权限 ...
分类:
数据库 时间:
2020-01-13 23:24:54
阅读次数:
121
问题 如何导入MySQL数据库 解决方案 1. 概述MySQL数据库的导入,有两种方法:1) 先导出数据库SQL脚本,再导入;2) 直接拷贝数据库目录和文件。 在不同操作系统或MySQL版本情况下,直接拷贝文件的方法可能会有不兼容的情况发生。所以一般推荐用SQL脚本形式导入。下面分别介绍两种方法。 ...
分类:
数据库 时间:
2020-01-12 22:00:33
阅读次数:
126
前两天干活儿的时候有个需求,前台导入csv文件,后台要做接收处理,mysql数据库中,项目用的springboot+Vue+mybatisPlus实现,下面详细记录一下实现流程。 1.Controller层部分: /** * 读取csv文件,批量插入到数据库中 */ @RequestMapping( ...
分类:
数据库 时间:
2020-01-09 18:34:41
阅读次数:
135
目前开发环境共有40台左右PostgreSQL数据库服务器,现在将这些数据库服务器所有数据库的所有schema由脚本统一收集并写入MySQL数据库中,可以做个定时任务,每隔一段时间运行一次,实时收集数据 在MySQL数据库中创建元数据表 插入元数据,如下所示 收集脚本,如下所示 生成数据如下所示 ...
分类:
数据库 时间:
2019-12-28 17:42:15
阅读次数:
97
前提:连接进入mysql数据库本机安装的myslq基础信息:host= "localhost", # 数据库主机地址:127.0.0.1 port=3306, # 端口号 user="root", # myslql数据库用户名 passwd="123", # 数据库密码 database="runo ...
分类:
数据库 时间:
2019-12-23 18:54:30
阅读次数:
93
之前介绍了街景数据抓取的核心思想,采用画格网的方式查询街景数据是否存在。 该方法在数据抓取过程漫长一次难以完全抓取数据信息,且按照格网查询街景时由于查询接口是按半径进行搜索难免出现重复街景的现象。为克服以上两个难题,本文采用断点续爬解决爬虫中断后需从头开始的问题,采用将街景ID存入mysql数据库进 ...
分类:
其他好文 时间:
2019-12-05 18:38:30
阅读次数:
118