+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2020-04(17)

2020-05(22)

2020-06(50)

2020-07(37)

2020-08(34)

爬虫之数据存储(json,csv,mysql)等

发布于2021-03-07 20:58     阅读(452)     评论(0)     点赞(13)     收藏(4)


0

1

2

3

4

JSON支持数据格式:

  1. 对象(字典)。使用花括号。
  2. 数组(列表)。使用方括号。
  3. 整形、浮点型、布尔类型还有null类型。
  4. 字符串类型(字符串必须要用双引号,不能用单引号)。

    Python 编码为 JSON 类型转换对应表:

    PythonJSON
    dictobject
    list, tuplearray
    strstring
    int, float, int- & float-derived Enumsnumber
    Truetrue
    Falsefalse
    Nonenull

多个数据之间使用逗号分开。
注意:json本质上就是一个字符串。

Python3 中可以使用 json 模块来对 JSON 数据进行编解码,它包含了两个函数:

  • json.dumps(): 对数据进行编码。
  • json.loads(): 对数据进行解码。

字典和列表转JSON:

  1. import json
  2. books = [
  3. {
  4. 'title': '钢铁是怎样练成的',
  5. 'price': 9.8
  6. },
  7. {
  8. 'title': '红楼梦',
  9. 'price': 9.9
  10. }
  11. ]
  12. json_str = json.dumps(books,ensure_ascii=False)
  13. print(json_str)

因为jsondump的时候,只能存放ascii的字符,因此会将中文进行转义,这时候我们可以使用ensure_ascii=False关闭这个特性。
Python中。只有基本数据类型才能转换成JSON格式的字符串。也即:intfloatstrlistdicttuple

将json数据直接dump到文件中:

json模块中除了dumps函数,还有一个dump函数,这个函数可以传入一个文件指针,直接将字符串dump到文件中。示例代码如下:

  1. books = [
  2. {
  3. 'title': '钢铁是怎样练成的',
  4. 'price': 9.8
  5. },
  6. {
  7. 'title': '红楼梦',
  8. 'price': 9.9
  9. }
  10. ]
  11. with open('a.json','w') as fp:
  12. json.dump(books,fp)

将一个json字符串load成Python对象:

  1. json_str = '[{"title": "钢铁是怎样练成的", "price": 9.8}, {"title": "红楼梦", "price": 9.9}]'
  2. books = json.loads(json_str,encoding='utf-8')
  3. print(type(books))
  4. print(books)

直接从文件中读取json:

  1. import json
  2. with open('a.json','r',encoding='utf-8') as fp:
  3. json_str = json.load(fp)
  4. print(json_str)

csv文件处理

读取csv文件:

  1. import csv
  2. with open('stock.csv','r') as fp:
  3. reader = csv.reader(fp)
  4. titles = next(reader)
  5. for x in reader:
  6. print(x)

这样操作,以后获取数据的时候,就要通过下表来获取数据。如果想要在获取数据的时候通过标题来获取。那么可以使用DictReader。示例代码如下:

  1. import csv
  2. with open('stock.csv','r') as fp:
  3. reader = csv.DictReader(fp)
  4. for x in reader:
  5. print(x['turnoverVol'])

写入数据到csv文件:

写入数据到csv文件,需要创建一个writer对象,主要用到两个方法。一个是writerow,这个是写入一行。一个是writerows,这个是写入多行。示例代码如下:

  1. import csv
  2. headers = ['name','age','classroom']
  3. values = [
  4. ('zhiliao',18,'111'),
  5. ('wena',20,'222'),
  6. ('bbc',21,'111')
  7. ]
  8. with open('test.csv','w',newline='') as fp:
  9. writer = csv.writer(fp)
  10. writer.writerow(headers)
  11. writer.writerows(values)

也可以使用字典的方式把数据写入进去。这时候就需要使用DictWriter了。示例代码如下:

  1. import csv
  2. headers = ['name','age','classroom']
  3. values = [
  4. {"name":'wenn',"age":20,"classroom":'222'},
  5. {"name":'abc',"age":30,"classroom":'333'}
  6. ]
  7. with open('test.csv','w',newline='') as fp:
  8. writer = csv.DictWriter(fp,headers)
  9. writer = csv.writeheader()
  10. writer.writerow({'name':'zhiliao',"age":18,"classroom":'111'})
  11. writer.writerows(values)

 

MySQL数据库操作

安装mysql:

  1. 在官网:https://dev.mysql.com/downloads/windows/installer/5.7.html
  2. 如果提示没有.NET Framework框架。那么就在提示框中找到下载链接,下载一个就可以了。
  3. 如果提示没有Microsoft Virtual C++ x64(x86),那么百度或者谷歌这个软件安装即可。
  4. 如果没有找到。那么私聊我。

navicat是一个操作mysql数据库非常方便的软件。使用他操作数据库,就跟使用excel操作数据是一样的。

安装驱动程序:

Python要想操作MySQL。必须要有一个中间件,或者叫做驱动程序。驱动程序有很多。比如有mysqldbmysqlclientpymysql等。在这里,我们选择用pymysql。安装方式也是非常简单,通过命令pip install pymysql即可安装。

数据库连接:

数据库连接之前。首先先确认以下工作完成,这里我们以一个pymysql_test数据库.以下将介绍连接mysql的示例代码:

  1. import pymysql
  2. db = pymysql.connect(
  3. host="127.0.0.1",
  4. user='root',
  5. password='root',
  6. database='student',
  7. port=3306
  8. )
  9. cursor = db.cursor()
  10. cursor.execute("select 1")
  11. data = cursor.fetchone()
  12. print(data)
  13. db.close()

插入数据:

  1. import pymysql
  2. db = pymysql.connect(
  3. host="127.0.0.1",
  4. user='root',
  5. password='root',
  6. database='student',
  7. port=3306
  8. )
  9. cursor = db.cursor()
  10. sql = """
  11. insert into student(
  12. stuno,stuname,stusex
  13. )
  14. values(18,'abc','女');
  15. """
  16. cursor.execute(sql)
  17. db.commit()
  18. db.close()

如果在数据还不能保证的情况下,可以使用以下方式来插入数据:

  1. sql = """
  2. insert into student(
  3. stuno,stuname,stusex
  4. )
  5. values(%s,%s,%s);
  6. """
  7. cursor.execute(sql,(20,'spider','男'))

查找数据:

使用pymysql查询数据。可以使用fetch*方法。

  1. fetchone():这个方法每次之获取一条数据。
  2. fetchall():这个方法接收全部的返回结果。
  3. fetchmany(size):可以获取指定条数的数据。
    示例代码如下:
  1. import pymysql
  2. db = pymysql.connect(
  3. host="127.0.0.1",
  4. user='root',
  5. password='root',
  6. database='student',
  7. port=3306
  8. )
  9. cursor = db.cursor()
  10. sql = """
  11. select * from student
  12. """
  13. cursor.execute(sql)
  14. while True:
  15. result = cursor.fetchone()
  16. if not result:
  17. break
  18. print(result)
  19. db.close()

或者是直接使用fetchall,一次性可以把所有满足条件的数据都取出来:

  1. cursor = db.cursor()
  2. sql = """
  3. select * from user
  4. """
  5. cursor.execute(sql)
  6. results = cursor.fetchall()
  7. for result in results:
  8. print(result)
  9. db.close()

或者是使用fetchmany,指定获取多少条数据:

  1. cursor = db.cursor()
  2. sql = """
  3. select * from user
  4. """
  5. cursor.execute(sql)
  6. results = cursor.fetchmany(1)
  7. for result in results:
  8. print(result)
  9. db.close()

删除数据:

  1. sql = """
  2. delete from student where stuno=99
  3. """
  4. cursor.execute(sql)
  5. db.commit()
  6. db.close()

更新数据:

  1. sql = """
  2. update student set stuname='花花' where stuno=18
  3. """
  4. cursor.execute(sql)
  5. db.commit()
  6. db.close()

原文链接:https://blog.csdn.net/sereasuesue/article/details/114396544

0

1

2

3

4

5

6

7



所属网站分类: 技术文章 > 博客

作者:麦克义

链接: https://www.pythonheidong.com/blog/article/879841/50824d01e7300cc6271e/

来源: python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

13 0
收藏该文
已收藏

评论内容:(最多支持255个字符)