1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类：
数据库 时间：
2021-06-06 19:08:48
阅读次数：
0
fs是File System的缩写，表示文件系统。 对于任何一个为服务器端服务的语言或者框架通常都会有自己的文件系统： 因为服务器需要将各种数据、文件等放置到不同的地方； 比如用户数据可能大多数是放到数据库中的； 比如某些配置文件或者用户资源（图片、音视频）都是以文件的形式存在于操作系统上的； No ...
分类：
其他好文 时间：
2021-06-06 19:08:30
阅读次数：
0
这个组件，是一个分布式的组件，好处就是，不怕消息太多了，都挤在一个服务器上，出现服务器内存不够的情况。服务器内存不够用的问题解决了，但是如果消费队列要进行数据库的操作，那么性能瓶颈将出现在数据库上，如果处理的业务复杂，就涉及到分布式事务了，所以一说到分布式，那真的，各种组件，各种复杂。 按我目前的水 ...
分类：
Web程序 时间：
2021-06-06 19:06:02
阅读次数：
0
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data ...
分类：
数据库 时间：
2021-06-06 19:05:46
阅读次数：
0
1.算法：查找数组中位数为偶数的个数问题1：如何计算位数通过while语句来对数字一直取整计数再通过对计算的数count对2取余来判断位数是否为偶数位最后将计算数count归零来用于下一个原数开始判断class solution{public int findNumbers(int []nums){ ...
分类：
数据库 时间：
2021-06-06 19:03:54
阅读次数：
0
Django实现MySQL读写分离 1. 增加slave数据库的配置 DATABASES = { 'default': { # 写（主机） 'ENGINE': 'django.db.backends.mysql', # 数据库引擎 'HOST': '192.168.103.158', # 数据库主机 ...
分类：
数据库 时间：
2021-06-06 19:02:54
阅读次数：
0
一、基础 响应模型与请求体模型类似，请求体就是通过Pydantic创建请求体模型，可用于对请求内容进行校验，响应模型就是对响应体进行校验。可以在任意的路径操作中使用response_model参数来声明响应的模型： 1、基本模型 from typing import Optional from fa ...
分类：
其他好文 时间：
2021-06-06 19:02:14
阅读次数：
0
商品详情页面静态化 提示： 商品详情页查询数据量大，而且是用户频繁访问的页面。 类似首页广告，为了减少数据库查询次数，提升页面响应效率，我们也要对详情页进行静态化处理。 静态化说明： 首页广告的数据变化非常的频繁，所以我们最终使用了定时任务进行静态化。 详情页的数据变化的频率没有首页广告那么频繁，而 ...
分类：
其他好文 时间：
2021-06-06 18:57:31
阅读次数：
0
接口测试：就是从数据库里取数据，插入数据。接口测试就是功能测试，比功能测试还简单。 步骤： 1、接口的请求url 2、请求参数 3、请求方式 get、post、put、delete get请求不需要借助任何工具，在浏览器发出请求就即可 url?param=abc url?param=abc¶ ...
分类：
其他好文 时间：
2021-06-06 18:56:40
阅读次数：
0
# shapefile文件信息的读取 # 相比pyshp库，geopandas库的数据读取、展示、分析、拓展的效果要更好。 # geopandas可以读取zip中的shapefile， # 还可以读取GeoJson、ArcGIS中地理数据库gdb，以及QGIS中GeoPackage 存放的矢量数据。 ...
分类：
数据库 时间：
2021-06-06 18:54:46
阅读次数：
0
