码迷,mamicode.com
首页 > Web开发 > 详细

爬取JSON文件并且存储

时间:2021-05-24 14:26:51      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:web   user   col   rgba   保存   函数   url   get   turn   

思路

  1 先调用模块

  2 定义一个函数

    2.1 获取网址(点击评论 找到JSON的文件(分析评论preview)获取Request URL后面的地址)

    2.2 添加用户的请求头

    2.3 使用get方法发送请求

    2.4 转化格式 并返回(return)格式(.text)

  3. 应为要以键值对的格式保存 所以定义一个函数删除并且返回 删除(replace)

  4. 类型转换并且返回

    4.1 return json.loads(传入参数的名称)

  5. 保存获取到的JSON数据

    5.1 open 一定要注意格式utf-8

  6. 传入参数的函数

    6.1 data = 2

    6.2 s = 3(data)

    6.3 5(s)

  7. 运行调用

    7.1 if __name__ ==‘__main__’:

        6()

 

例题代码

  

import requests
import json


def name_1():
    # 获取网址 点击评论 找到有JSON的文件(分析评论 preview)获取Request URL后面的地址
    url = https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100007080973&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1
    # 添加用户请求头
    headers = {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36}
    # 使用get方法发送请求
    resp = requests.get(url,headers=headers)
    # 转换格式 并返回(return)
    return resp.text

def name_2(data_1):
    # 因为是键值对的形式 所以要删除一些东西 并且返回
    return data_1.replace(fetchJSON_comment98(,‘‘).replace();,‘‘) #如果为str类型

def name_3(data_2):
    # 类型转换 并且返回
    return json.loads(data_2)

def name_4(obj):
    # 保存获取到的JSON数据
    json.dump(obj,open(京东销量最好的固态数据.txt,w,encoding=utf-8),ensure_ascii=False)

def name():
    data = name_1()
    s = name_2(data)
    print(type(name_3(s)))
    print(s)
    name_4(s)

if __name__ == __main__:
    name()

 

爬取JSON文件并且存储

标签:web   user   col   rgba   保存   函数   url   get   turn   

原文地址:https://www.cnblogs.com/name-han/p/14779776.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!