修改numpy array数据类型

1、numpy数据类型

数据名称 说明
bool 布尔类型,true,false
int_ 默认的整数类型(类似于 C 语言中的 long,int32 或 int64)
intc 与 C 的 int 类型一样,一般是 int32 或 int 64
intp 用于索引的整数类型(类似于 C 的 ssize_t,一般情况下仍然是 int32 或 int64)
int8 字节(-128 to 127)
int16 整数(-32768 to 32767)
int32 整数(-2147483648 to 2147483647)
int64 整数(-9223372036854775808 to 9223372036854775807)
uint8 无符号整数(0 to 255)
uint16 无符号整数(0 to 65535)
uint32 无符号整数(0 to 4294967295)
uint64 无符号整数(0 to 18446744073709551615)
float_ float64 类型的简写
float16 半精度浮点数,包括:1 个符号位,5 个指数位,10 个尾数位
float32 单精度浮点数,包括:1 个符号位,8 个指数位,23 个尾数位
float64 双精度浮点数,包括:1 个符号位,11 个指数位,52 个尾数位
complex_ complex128 类型的简写,即 128 位复数
complex64 复数,表示双 32 位浮点数(实数部分和虚数部分)
complex128 复数,表示双 64 位浮点数(实数部分和虚数部分)

2、改变numpy array数据类型

用astype()方法改变数据类型,如下几种方式所示(这种方法不会改变原数组的数据类型):

array_name.astype(int)  
array_name.astype(np.int16)
array_name.astype('float64')

如果要改变原数组的数据类型,用以下方法:

array_name.dtype = np.uint8

numpy数据类型说明及自动转换陷阱

numpy的dtype是一个很重要的概念,因为numpy为了性能,优化了内存管理,ndarray的值在内存中几乎是连续的,同时其每个元素的内存大小也被设计成是一样的,因此,当生成ndarray时,每个元素的数据类型都会被转为相同的类型,这时如果原生的数据类型是不一样的,那么就涉及到一个数据类型转换的问题,即data type casting。

明白numpy中的数据类型转换可以有效的避免和理解很多的行为,因为numpy中很多的error往往都是有数据类型转换引起的,所以理解numpy的数据类型转换可以预防和排查很多的问题。首先,在numpy中有很多的数据类型,多于python内置数据类型,具体有哪些类型,可以参看下图,下图的columns和index是数据类型在numpy中的符号,具体的释义可以查看这里。下面,我们重点讲一下numpy中关于数据类型以及转换中容易碰到的陷进或者需要注意的点。

1、数据类型的表示

在numpy中,一个数据类型实际上是一个dtype对象,其有一些重要的属性,比如字节顺序、数据类型、字节数大小等,一般的,numpy中的数据类型会表示成类似'<i4'这样,这个表示法中,<表示字节顺序,i表示数据类型,这里表示整数,4表示一个元素占据的字节数,这里4字节,表示32位整数。

2、构造ndarray时的dtype

在构造ndarray时,可以指定dtype参数来设置ndarray里面元素的数据类型,这个dtype可以用'i4'这样的表示方式,也可以用int表示,但是后者没法指定字节数。要注意的是,指定dtype时,一定要确认这个dtype可以兼容所有元素,防止溢出或者不兼容,对此我们可以通过result_type(*array_like)来判断我们应该设定的dtype,这个函数返回的dtype是可以兼容所有元素的最小size的数据类型;或者我们无需设定,其会自动进行数据类型的转换,我们也可以通过ndarray.dtype属性查看数据类型。Anyway,我们要有这种数据类型转换的意识,因为这会影响后续对ndarray的操作。

3、不同数据类型之间的转换兼容性

 numpy的数据类型之间能够实现转换,可以通过np.can_cast(fromtype,totype)这个函数来判断,更详细的可以查看下图。

4、numpy对python对象数据类型'O'的处理

 当numpy中有python独有的原生数据类型,比如Decimal,那么ndarray会被转为object数据类型,表示python对象数据类型,当然这里也可以转为字符串,但是字符串对于np.nan往往会占据更大的itemsize。

当numpy函数对dtype位object的ndarray处理时,会先把里面的元素再进一步转为其他numpy的数据类型,这样才可以操作,所以这里如果函数没法或没有指定类型参数,那么会默认以第一个inner loop到的数据类型作为所有元素的类型,并以此类型进行后续转换,这时,对于object类型的ndarray来说,往往容易出现数据无法转换成功的异常。所以要注意处理时第一个inner loop遇到的元素的类型是否可以兼容后面要处理的所有元素,不然会抛出异常。看下面的例子说明。

import numpy as np
from decimal import Decimal
 
arr=np.array([[1,2.0,3],['a',3,np.nan],[2,np.nan,Decimal('5')]])
arr1=np.apply_along_axis(lambda x:x[0],arr=arr,axis=1)
arr1
# output:
# ValueError: invalid literal for int() with base 10: 'a'
 
arr2=np.apply_along_axis(lambda x:x[1],arr=arr,axis=1)
arr2
# output:
# array([ 2.,  3., nan])
 
arr2=np.apply_along_axis(lambda x:x[2],arr=arr,axis=1)
arr2
# output:
# array([          3, -2147483648,           5])

从上面的例子中可以看到,arr1中,由于第一个inner loop遇到的元素是整数1,所以便会以整数类型对后续的元素进行转换,但是后面的一个元素是字符'a',无法将其转为int,因此就会报上述error;arr2中,第一个遇到的元素是2.0,为float,所以后面的元素都会被转为float,因此输出为array([ 2.,  3., nan]),其中都变成了float,要注意的是,由于np.nan本身就是一个浮点数,因此这里可以正确的转换,转换之后还是np.nan;但是看arr2,由于第一个遇到的元素类型为int32,后面的np.nan为float64,会造成溢出,这样便无法正确的转换,从而会用int32最接近np.nan的值去替换,所以就是-2**31==-2147483648,这里之所以是2**31,而不是2**32-1,是因为这里的int是signed int,即有正负号的int,所以其范围是-2**31~2**31-1;而Decimal('5')被转为了int 5,所以就出现了上述的结果。

 所以,当要被转成ndarray的原始数据中有np.nan时,要特别注意这一点,最好是指定float类型,注意其他数据的兼容;而如果同时又是obejct数据类型时,那么同时也要注意第一个inner loop遇到的元素的数据类型,注意和后面的数据类型保持兼容。

小结:numpy的dtype有诸多陷进,需要小心对待,谨慎核查,然后灵活运用。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持Devmax。

如何修改numpy array的数据类型的更多相关文章

  1. ios – 数组的数组.仅存储副本

    我需要存储一个Int数组的数组,用于有序重复.例:>给定数组:mainArray=[7,7,3,2,1,5,5]现在我需要创建一个int数组的数组.例:这是我有的:解决方法您可以使用reduce方法.减少工作如何?reduce将封闭中的逻辑应用于空的2D数组的整数和数字的第一个elm.然后再次应用上一次迭代的结果和第二个整数数组…if是否检查在结果中添加的最后一个数组中的数字是否等于当前检查的整数.如果这样,那个整数被添加到该数组.否则,只会添加一个仅包含新整数的数组.测试

  2. Swift:Generators 与 Sequences 浅析

    前言Generators与Sequences构成了Swift式循环。Generators提到数组我们就会想到遍历,一般的遍历可能都是从头到尾进行的。这时候Generators就可以派上用场了。举个倒序索引的generator:好处是啥好处是啥,我的总结是把一个很抽象遍历模式使用Generators的方式剥离出来,当你对当前的迭代循环方式不爽的时候只需要修改一下当前的这个generator。SequencesGenerators在循环过程中每个元素提供的服务是一次性的。

  3. 再探Swift基础

    基础tuplesstringsnumericfor循环while循环if条件switchoptionalarraydictionaryset

  4. swift排序算法和数据结构

    vararrayNumber:[Int]=[2,4,216)">6,216)">7,216)">3,216)">8,216)">1]//冒泡排序funcmaopao->[Int]{forvari=0;i

  5. Arrray 中的map和filter 函数的使用

    swift中的Array提供了两个很方便的函数map和filter使用map可以建立一个从A数组到B数组的一个映射,例如:我们给数组的每个元素后添加一个testvararray=["1","2","3"];printlnfuncfx->String{returnstr+"test"}我们还可以使用filter函数按条件过滤一些不符合条件的数组例如:vararray=[1,4,10];array=array.filterprintln//结果[4,10]另外一种写法:array.filter

  6. Swift 2.0学习笔记Day 17——Swift中数组集合

    数组中的集合元素是有序的,可以重复出现。varstudentList1:ArrayvarstudentList2:[String]声明的Array还不能用,还需要进行初始化,Array类型往往在声明的同时进行初始化。示例代码如下:varstudentList1:Array=["张三","李四","王五","董六"]varstudentList2:[String]=["张三","董六"]letstudentList3:[String]=["张三","董六"]varstudentList4=[String](

  7. Swift高级开发语言基础

  8. Swift关于Array的探讨

    当我们想向Array添加不同数据类型的元素时,可以这样做:这样我们便可以向Array添加任何数据类型的元素了,但是如果我们希望Array中只能添加特定几种类型的元素怎么办呢?这里提供一种思路:

  9. 《从零开始学Swift》学习笔记Day 17――Swift中数组集合

    数组中的集合元素是有序的,可以重复出现。,Array类型往往在声明的同时进行初始化。整个遍历过程与循环分不开,可以使用for-in循环。下面是遍历数组的示例代码:运行结果如下:张三李四王五Item1:张三Item2:李四Item3:王五欢迎关注关东升新浪微博@tony_关东升。

  10. Swift学习 数组

    1、计算数组的长度count:计算数组的长度2、判断数组是否为空isEmpty:判断数组是否为空3、在数组尾部添加元素append:在数组尾部添加元素4、通过下标修改数组元素的值5、数组的插入insert:通过insert和下标向数组中插入元素6、数组的删除7、数组的遍历8、数组的拼接

随机推荐

  1. 10 个Python中Pip的使用技巧分享

    众所周知,pip 可以安装、更新、卸载 Python 的第三方库,非常方便。本文小编为大家总结了Python中Pip的使用技巧,需要的可以参考一下

  2. python数学建模之三大模型与十大常用算法详情

    这篇文章主要介绍了python数学建模之三大模型与十大常用算法详情,文章围绕主题展开详细的内容介绍,具有一定的参考价值,感想取得小伙伴可以参考一下

  3. Python爬取奶茶店数据分析哪家最好喝以及性价比

    这篇文章主要介绍了用Python告诉你奶茶哪家最好喝性价比最高,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习吧

  4. 使用pyinstaller打包.exe文件的详细教程

    PyInstaller是一个跨平台的Python应用打包工具,能够把 Python 脚本及其所在的 Python 解释器打包成可执行文件,下面这篇文章主要给大家介绍了关于使用pyinstaller打包.exe文件的相关资料,需要的朋友可以参考下

  5. 基于Python实现射击小游戏的制作

    这篇文章主要介绍了如何利用Python制作一个自己专属的第一人称射击小游戏,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起动手试一试

  6. Python list append方法之给列表追加元素

    这篇文章主要介绍了Python list append方法如何给列表追加元素,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

  7. Pytest+Request+Allure+Jenkins实现接口自动化

    这篇文章介绍了Pytest+Request+Allure+Jenkins实现接口自动化的方法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

  8. 利用python实现简单的情感分析实例教程

    商品评论挖掘、电影推荐、股市预测……情感分析大有用武之地,下面这篇文章主要给大家介绍了关于利用python实现简单的情感分析的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下

  9. 利用Python上传日志并监控告警的方法详解

    这篇文章将详细为大家介绍如何通过阿里云日志服务搭建一套通过Python上传日志、配置日志告警的监控服务,感兴趣的小伙伴可以了解一下

  10. Pycharm中运行程序在Python console中执行,不是直接Run问题

    这篇文章主要介绍了Pycharm中运行程序在Python console中执行,不是直接Run问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

返回
顶部