本文介绍的是如何使用Pandas来操作MySQL数据库。主要是包含查询MySQL中的数据,以及如何往数据库中写入数据。

先安装两个库:

  • pymysql
  • sqlalchemy
pip install pymysql
pip install sqlalchemy

本地数据库

查看一个本地数据库中某个表的数据。这份数据是《MySQL经典50题》的一个表之一:

部分习题答案:

mysql -u root -p   -- 安装mysql,进入数据库输入暗文密码

show databases;  -- 显示全部数据库
use test;  -- 使用某个数据库
show tables;  -- 查看数据库下的全部表
select * from Student;  -- 查看某个表的全部内容

操作MySQL

连接MySQL

以pymysql模块为例,讲解如何连接数据库。

In [1]:

import pandas as pd

import pymysql
from sqlalchemy import create_engine

In [2]:

connection = pymysql.connect(
  host='127.0.0.1',  # 本机ip地址
  port=3306,  # mysql默认端口号
  user="root",  # 用户名
  password="password",  # 密码
  charset="utf8", # 字符集
  db="test"  # 数据库
)

cur = connection.cursor() # 建立游标
cur

Out[2]:

<pymysql.cursors.Cursor at 0x11ddc1190>

connect()方法常用的参数:

connect() 常用参数 说明
host 主机ip
user 用户名
password 密码
database 数据库
port 端口号
charset 字符集

调用 cursor() 方法即可返回一个新的游标对象,在连接没有关闭之前,游标对象可以反复使用

执行sql查询语句

In [3]:

sql="""  # 待执行的sql语句
select * from Student;
"""

# 执行sql语句
cur.execute(sql)  

Out[3]:

8

In [4]:

cur

结果表明是个游标对象:

Out[4]:

<pymysql.cursors.Cursor at 0x11ddc1190>

In [5]:

cur.description

主要返回游标的属性信息,官网的描述为:

Out[5]:

(('s_id', 253, None, 20, 20, 0, False),
 ('s_name', 253, None, 20, 20, 0, True),
 ('s_birth', 253, None, 20, 20, 0, True),
 ('s_sex', 253, None, 20, 20, 0, True))

In [6]:

# 列名
columns = [col[0] for col in  cur.description]
columns

Out[6]:

['s_id', 's_name', 's_birth', 's_sex']

游标使用

下图显示的是如何取出一条或者多条数据(按照顺序查询)

通过游标获取全部的数据:

fetch相关的函数都是获取结果集中剩下的数据,多次调用的时候只会从剩余数据中查询:

当第二次调用的时候结果就是空集。

通过游标获取查询的结果集的特点:

1.可以获取1条、多条和全部数据

2.在获取数据的时候是按照顺序读取的

3.fetchall函数返回剩下的所有行

  • 如果是末尾,则返回空元组;
  • 否则返回一个元组,其元素是每一行的记录封装的一个元组

转成DataFrame

# 列名
columns = [col[0] for col in  cur.description]

# 数据集合
data = []
for i in cur.fetchall():
    data.append(i)
    
df = pd.DataFrame(data,columns=columns)

保存成CSV数据

SQL插入数据

往MySQL数据库中插入数据:

import pandas as pd

import pymysql
from sqlalchemy import create_engine

connection = pymysql.connect(
  host='127.0.0.1',  # 本机ip地址
  port=3306,  # mysql默认端口号
  user="root",  # 用户名
  password="11112222",  # 密码
  charset="utf8", # 字符集
  db="test"  # 数据库
)

cur = connection.cursor() # 建立游标

# 待执行SQL语句
sql="""  
insert into test.Student(s_id, s_name, s_birth, s_sex) values("09","吴越","1998-08-08","男")
"""

# 执行sql语句
cur.execute(sql)  

很关键一步,要记得提交,这样最终才会写入数据库:

connection.commit()

执行SQL删除语句

使用完之后记得关闭连接:

connection.close()

使用sqlalchemy

第二种常用的方法是通过sqlalchemy来连接数据库:

连接数据库

import pandas as pd
from sqlalchemy import create_engine

# 依次填写MySQL的用户名、密码、IP地址、端口、数据库名
# create_engine("数据库类型 数据库驱动://数据库用户名:数据库密码@IP地址:端口/数据库",其他参数)
engine = create_engine("mysql pymysql://root:password@localhost:3306/test")

查询语句1

查询语句2

写入数据

Pandas中的DataFrame写入新的表testdf中:

show tables;

使用read_sql读取

使用Pandas自带的read_sql函数能够自行读取数据,读取上面创建的数据.

官网:https://pandas.pydata.org/docs/reference/api/pandas.read_sql.html

import pandas as pd
from sqlalchemy import create_engine

# 依次填写MySQL的用户名、密码、IP地址、端口、数据库名
engine = create_engine("mysql pymysql://root:password@localhost:3306/test")
# sql语句
sql4 = "select * from testdf;"
df4 = pd.read_sql(sql4, engine)

到此这篇关于Pandas操作MySQL的方法详解的文章就介绍到这了,更多相关Pandas操作MySQL内容请搜索Devmax以前的文章或继续浏览下面的相关文章希望大家以后多多支持Devmax!

Pandas操作MySQL的方法详解的更多相关文章

  1. 从iOS应用程序发送帖子到PHP脚本不工作…简单的解决方案就像

    我之前已经做了好几次了但是由于某些原因我无法通过这个帖子…我尝试了设置为_POST且没有的变量的PHP脚本……当它们未设置为发布时它工作精细.这是我的iOS代码:这里是PHP的一大块,POST变量不在正确的位置?我想这对于更有经验的开发人员来说是一个相当简单的答案,感谢您的帮助!解决方法$_POST是一个数组,而不是一个函数.您需要使用方括号来访问数组索引:

  2. Android – 将SQLite与MySQL同步的最佳方式

    参见英文答案>Synchronizingclient-serverdatabases5个我正在开发一个包含网络应用和移动应用程序的项目,该应用程序记录每日用户的数据.用户可以删除,更新他们的数据,他们可以使用许多设备插入数据.我打算这样开发:用户输入他们的数据然后插入sqlite.服务将定期启动(每5小时或每小时)以使用时间戳与MysqL同步.我确实在互联网上使用服务和时间戳搜索了一个样本,但我一

  3. android – 如何将唯一的GCM注册标识存储到MySQL中

    我正在设置GoogleCloudMessaging机制的服务器端,使用MySQL存储移动应用提供的注册ID.Google可以发出最多4k个注册码,我被迫将其存储在TEXT字段中.所有的好,到目前为止,问题是我必须处理这样的情况:>用户登录到应用程序>该应用从google请求注册ID>应用程序将新的注册ID发送到应用服务器>服务器存储该注册ID并将其链接到当前登录的用户>该用户注销并且新用户登录>应

  4. Pandas如何将表格的前几行生成html实战案例

    这篇文章主要介绍了Pandas如何将表格的前几行生成html实战案例,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下

  5. nodeJs链接Mysql做增删改查的简单操作

    本篇文章主要介绍了nodeJs链接Mysql做增删改查的简单操作,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

  6. pandas如何计算同比环比增长

    这篇文章主要介绍了pandas如何计算同比环比增长,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

  7. python sklearn与pandas实现缺失值数据预处理流程详解

    对于缺失值的处理,主要配合使用sklearn.impute中的SimpleImputer类、pandas、numpy。其中由于pandas对于数据探索、分析和探查的支持较为良好,因此围绕pandas的缺失值处理较为常用

  8. PHP连接MYSQL数据库的3种常用方法

    这篇文章主要介绍了PHP连接MYSQL数据库的3种常用方法,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

  9. PHP使用PDO创建MySQL数据库、表及插入多条数据操作示例

    这篇文章主要介绍了PHP使用PDO创建MySQL数据库、表及插入多条数据操作,结合实例形式总结分析了php基于pdo的mysql数据库创建、数据表创建以及多条数据插入操作相关实现技巧,需要的朋友可以参考下

  10. 详解Jquery的事件操作和文档操作

    本篇文章主要对Jquery的事件操作和文档操作进行实例的分享,具有很好的参考价值,需要的朋友一起来看下吧

随机推荐

  1. 10 个Python中Pip的使用技巧分享

    众所周知,pip 可以安装、更新、卸载 Python 的第三方库,非常方便。本文小编为大家总结了Python中Pip的使用技巧,需要的可以参考一下

  2. python数学建模之三大模型与十大常用算法详情

    这篇文章主要介绍了python数学建模之三大模型与十大常用算法详情,文章围绕主题展开详细的内容介绍,具有一定的参考价值,感想取得小伙伴可以参考一下

  3. Python爬取奶茶店数据分析哪家最好喝以及性价比

    这篇文章主要介绍了用Python告诉你奶茶哪家最好喝性价比最高,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习吧

  4. 使用pyinstaller打包.exe文件的详细教程

    PyInstaller是一个跨平台的Python应用打包工具,能够把 Python 脚本及其所在的 Python 解释器打包成可执行文件,下面这篇文章主要给大家介绍了关于使用pyinstaller打包.exe文件的相关资料,需要的朋友可以参考下

  5. 基于Python实现射击小游戏的制作

    这篇文章主要介绍了如何利用Python制作一个自己专属的第一人称射击小游戏,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起动手试一试

  6. Python list append方法之给列表追加元素

    这篇文章主要介绍了Python list append方法如何给列表追加元素,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

  7. Pytest+Request+Allure+Jenkins实现接口自动化

    这篇文章介绍了Pytest+Request+Allure+Jenkins实现接口自动化的方法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

  8. 利用python实现简单的情感分析实例教程

    商品评论挖掘、电影推荐、股市预测……情感分析大有用武之地,下面这篇文章主要给大家介绍了关于利用python实现简单的情感分析的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下

  9. 利用Python上传日志并监控告警的方法详解

    这篇文章将详细为大家介绍如何通过阿里云日志服务搭建一套通过Python上传日志、配置日志告警的监控服务,感兴趣的小伙伴可以了解一下

  10. Pycharm中运行程序在Python console中执行,不是直接Run问题

    这篇文章主要介绍了Pycharm中运行程序在Python console中执行,不是直接Run问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

返回
顶部