引言

本文介绍的如何使用Pandas来读取各种json格式的数据,以及对json数据的保存

读取json数据

使用的是pd.read_json函数,见官网:pandas.pydata.org/docs/refere…

pandas.read_json(
  path_or_buf=None,  # 文件路径
  orient=None,  # 取值:split、records、index、columns、values
  typ='frame',   # 要恢复的对象类型(系列或框架),默认'框架'.
  dtype=None, # boolean或dict,默认为True
  convert_axes=None,
  convert_dates=True,
  keep_default_dates=True,
  numpy=False,
  precise_float=False,
  date_unit=None,
  encoding=None,  # 编码
  lines=False,  # 布尔值,默认为False,每行读取该文件作为json对象
  chunksize=None,  # 分块读取大小
  compression='infer',
  nrows=None,
  storage_options=None)

模拟数据

模拟了一份数据,vscode打开内容:

可以看到默认情况下的读取效果:

主要有下面几个特点:

  • 第一层级字典的键当做了DataFrame的字段
  • 第二层级的键默认当做了行索引

下面重点解释下参数orident

参数orident

取值可以是:split、records、index、columns、values

orident="split"

json文件的key的名字只能为index,cloumns,data;不多也不能少。

split' : dict like {index -> [index], columns -> [columns], data -> [values]}

In [3]:

data1 = '{"index":[1,2],"columns":["name","age"],"data":[["xiaoming",28], ["zhouhong",20]]}'

In [4]:

df1 = pd.read_json(data1, orient="split")
df1

结果表明:

  • index:当做行索引
  • columns:列名
  • data:具体的取值

如果我们改变其中一个key,比如data换成information就报错了:

orient="records"

当orient="records"的时候,数据是以字段 取值的形式存放的。

‘records' : list like [{column -> value}, … , {column -> value}]

In [7]:

data2 = '[{"name":"Peter","sex":"male","age":20},{"name":"Tom","age":27},{"sex":"male"}]'

In [8]:

df2 = pd.read_json(data2, orient="records")
df2

生成数据的特点:

  • 列表中元素是以字典的形式存放
  • 列表中每个元素(字典)的key,如果没有出现则取值为NaN

orient="index"

当orient="index"的时候,数据是以的形式来存储。

dict like {index -> {column -> value}}

In [9]:

data3 = '{"id1":{"name":"Mike","age":20,"sex":"male","score":80},"id2":{"name":"Jack","sex":"female","score":90}}'

In [10]:

df3 = pd.read_json(data3, orient="index")
df3

  • 每个id存放一条数据
  • 未出现的key取值为NaN

orient="columns"

在这种情况下数据是以列的形式来存储的。

dict like {column -> {index -> value}}

In [11]:

data4 = '{"sex":{"id1":"Peter","id2":"Tom","id3":"Jimmy"},"age":{"id1": 20,"id3":28}}'

In [12]:

df4 = pd.read_json(data4, orient="columns")
df4

如果我们对上面的结果实施转置(两种方法):

我们会发现这个结果和orient="index"的读取结果是相同的:

orient="values"

在这种情况下,数据是以数组的形式存在的:

‘values' : just the values array

In [16]:

data5 = '[["深圳",2000],["广州",1900],["北京",2500]]'

In [17]:

df5 = pd.read_json(data5, orient="values")
df5

对生成的列名进行重新命名:

to_json

将DataFrame数据保存成json格式的文件

DataFrame.to_json(path_or_buf=None,  # 路径
                  orient=None, # 转换类型
                  date_format=None, # 日期转换类型
                  double_precision=10,  # 小数保留精度
                  force_ascii=True, # 是否显示中文
                  date_unit='ms', # 日期显示最小单位
                  default_handler=None, 
                  lines=False, 
                  compression='infer', 
                  index=True, # 是否保留行索引
                  indent=None, # 空格数
                  storage_options=None)

官网学习地址:

pandas.pydata.org/docs/refere…

1、默认保存

df.to_json("df_to_json_1.json", force_ascii=True)  # 不显示中文

显示结果为一行数据,且存在unicode编码,中文无法显示:

{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"\u6df1\u5733","Tom":"\u4e0a\u6d77","Jack":"\u5317\u4eac","Mike":"\u5e7f\u5dde"}}

2、显示中文

df.to_json("df_to_json_2.json", force_ascii=False)  # 显示中文

中文能够正常显示:

{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"深圳","Tom":"上海","Jack":"北京","Mike":"广州"}}

3、不同的orient显示 换行(indent参数)

df.to_json("df_to_json_3.json", force_ascii=False, orient="index",indent=4) 
# index   换行

显示结果中键为name信息:

4、改变index

df.to_json("df_to_json_4.json", force_ascii=False, orient="columns",indent=4)   # columns   换行

以上就是Pandas读存JSON数据操作示例详解的详细内容,更多关于Pandas读存JSON数据的资料请关注Devmax其它相关文章!

Pandas读存JSON数据操作示例详解的更多相关文章

  1. AngularJS下$http服务Post方法传递json参数的实例

    下面小编就为大家分享一篇AngularJS下$http服务Post方法传递json参数的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

  2. Pandas如何将表格的前几行生成html实战案例

    这篇文章主要介绍了Pandas如何将表格的前几行生成html实战案例,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下

  3. JSON 入门教程基础篇 json入门学习笔记

    刚开始接触json的时候感觉有点奇怪的命名,后来使用才发现这么简单而且用好用,扩展性很强,这里就为大家整理一下

  4. pandas如何计算同比环比增长

    这篇文章主要介绍了pandas如何计算同比环比增长,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

  5. python sklearn与pandas实现缺失值数据预处理流程详解

    对于缺失值的处理,主要配合使用sklearn.impute中的SimpleImputer类、pandas、numpy。其中由于pandas对于数据探索、分析和探查的支持较为良好,因此围绕pandas的缺失值处理较为常用

  6. jQuery+ajax读取json数据并按照价格排序示例

    这篇文章主要介绍了jQuery+ajax读取json数据并按照价格排序,涉及jQuery基于ajax动态获取json文件数据并进行数据遍历与排序的相关操作技巧,需要的朋友可以参考下

  7. Java接口返回json如何忽略特定属性

    这篇文章主要介绍了Java接口返回json如何忽略特定属性,通过SimplePropertyPreFilter方式(Json返回),这种写法,接口返回类型就要求是Json字符串类型,本文通过场景实例代码相结合给大家介绍的非常详细,需要的朋友可以参考下

  8. Javascript实用方法之json合并的场景分析

    这篇文章主要介绍了Javascript实用方法之json合并,jQuery 的“extend()”方法有两个原型:合并的方法,分别是浅合并和深度合并,本文通过代码给大家介绍的非常详细,需要的朋友可以参考下

  9. Python使用pandas将表格数据进行处理

    这篇文章主要介绍了Python使用pandas将表格数据进行处理,文章围绕主题展开详细的内容介绍,具有一定的参考价值,感兴趣的小伙伴可以参考一下

  10. jQuery遍历json的方法分析

    这篇文章主要介绍了jQuery遍历json的方法,结合实例形式分析了jQuery针对json格式数据的遍历操作相关技巧,需要的朋友可以参考下

随机推荐

  1. 10 个Python中Pip的使用技巧分享

    众所周知,pip 可以安装、更新、卸载 Python 的第三方库,非常方便。本文小编为大家总结了Python中Pip的使用技巧,需要的可以参考一下

  2. python数学建模之三大模型与十大常用算法详情

    这篇文章主要介绍了python数学建模之三大模型与十大常用算法详情,文章围绕主题展开详细的内容介绍,具有一定的参考价值,感想取得小伙伴可以参考一下

  3. Python爬取奶茶店数据分析哪家最好喝以及性价比

    这篇文章主要介绍了用Python告诉你奶茶哪家最好喝性价比最高,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习吧

  4. 使用pyinstaller打包.exe文件的详细教程

    PyInstaller是一个跨平台的Python应用打包工具,能够把 Python 脚本及其所在的 Python 解释器打包成可执行文件,下面这篇文章主要给大家介绍了关于使用pyinstaller打包.exe文件的相关资料,需要的朋友可以参考下

  5. 基于Python实现射击小游戏的制作

    这篇文章主要介绍了如何利用Python制作一个自己专属的第一人称射击小游戏,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起动手试一试

  6. Python list append方法之给列表追加元素

    这篇文章主要介绍了Python list append方法如何给列表追加元素,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

  7. Pytest+Request+Allure+Jenkins实现接口自动化

    这篇文章介绍了Pytest+Request+Allure+Jenkins实现接口自动化的方法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

  8. 利用python实现简单的情感分析实例教程

    商品评论挖掘、电影推荐、股市预测……情感分析大有用武之地,下面这篇文章主要给大家介绍了关于利用python实现简单的情感分析的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下

  9. 利用Python上传日志并监控告警的方法详解

    这篇文章将详细为大家介绍如何通过阿里云日志服务搭建一套通过Python上传日志、配置日志告警的监控服务,感兴趣的小伙伴可以了解一下

  10. Pycharm中运行程序在Python console中执行,不是直接Run问题

    这篇文章主要介绍了Pycharm中运行程序在Python console中执行,不是直接Run问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

返回
顶部