使用 pandas 处理小数据集不会遇到性能问题，但是当处理大数据集时(GB级)会遇到性能问题，甚至会因为内存不足而无法处理。

当然使用 spark等工具可以处理大数据集，但是一般的硬件设备使用这些工具也是捉襟见肘，而且 pandas 具有强大的数据清洗方法。当处理的数据量级无需使用spark等工具，使用pandas同样能解决时，该如何提高效率呢？

下面展示如何有效降低 pandas 的内存使用率，甚至降低90%的内存使用。

处理棒球比赛数据

开始之前，我们已经将 130 年的联盟棒球比赛数据进行了处理，并合并为一个文件而且添加了表头信息。

下面我们开始处理数据并查看部分数据信息：

下面是数据集中的一些主要列，查看数据集可以获取所有列信息：

使用 DataFrame.info 可以获得一些深度信息，比如数据大小，数据类型和使用内存等信息：

默认 pandas 为了节省时间会返回内存使用量的粗略值，为了获取精确值，传递 memory_usage = ’deep‘：

数据集中共有 171907 行，161列。pandas 自动获取数据类型：77个浮点数，6个整数，78个对象。内存使用量为 861.8 MB。

因此我们能更好的理解减少内存的使用，下面看看pandas 是如何在内存中存储数据的。

DataFrame的内部呈现

在内部机制中，pandas 会将相同类型的数据分为一组。下面是pandas 如何存储DataFrame中的前12个变量：

因为存储在DataFrame中的真实值经过了优化，因此数据块没有引用列名。BlockManager类保证了行列和真实数据块的映射，相当于获取低层数据的API。我们调用函数和方法选择，编辑，删除DataFrame中的数据时，其实是 BlockManager在’捣鬼‘。

pandas.core.internals 中每种数据类型都有一个特定类。ObjectBlock 类呈现字符串；FloatBlock 类呈现浮点数；。对于数值数据块，pandas 会将其转换为 numpy 数组。Numpy数组构建在C数组基础上，而且连续存储在内存中。基于这种存储机制，访问会非常快。

因为每种数据类型单独存储，因此我们通过数据类型分析内存使用。先看看每种数据类型的平均内存使用量：

可以发现 object 占用了大部分内存。抛开这个，我们先看看如何提高数值的内存使用。

理解 Subtypes

之前提及到，pandas 会将数值存储为 Numpy 数组，并且连续存储在内存中。这种存储机制节省了很多空间而且能够提高获取速度。pandas 每种数值类型以相同的字节存储，Numpy数组存储数值，pandas 能够准确快速的返回数值列的字节数。

许多数据类型在pandas中都有一些子类型(subtypes)，可以以更少的字节存储每一个值。例如：float 有 float16，float32，float64子类型，类型后的数字表示存储数据的字节数。下面是 pandas 中常见数据类型的子类型：

memory usage

float

int

uint

datetime

bool

object

1 bytes

int8

uint8

bool

2 bytes

float16

int16

uint16

4 bytes

float32

int32

uint32

8 bytes

float64

int64

uint64

datetime64

variable

object

int8 使用了1个字节(8位)存储数据，可以存储256 (2^8)个二进制数据。我们可以使用此类型表示 -128 到 127之间的数据。

使用 numpy.iinfo 表示每一种数据类型所能表示的最大值和最小值：

注意 uint 和 int 的差异：虽然存储能力相同，但是前者表示非负数，而后者表示正负数范围。当仅存储正数的时候，使用 uint 效率更高。

数值优化

使用 pandas.to_numeric 可以对数值类型进行“降维打击”。使用 DataFrame.select_dtypes 只选择整型列，然后优化数据类型并对比内存使用量：

可以看出内存使用量从7.87MB降为1.48MB，节省了80%左右。因为原来的 DataFrame仅包含了很少的整型数据，因此内存节省有限。

让我们来看一下浮点列：

浮点类型从 float64转换位 float32，节省了50%左右的内存使用。

让我们创建一个原DataFrame的副本，将优化后的数值列赋值给原数据，看看节省了多少内存。

虽然对数值列的数据类型进行了“降维”，但是总体只降了 7%左右的内存。看来只能优化对象类型了。

开始之前，先对比字符串和数值在 pandas 中的存储。

对比字符串和数值存储

pandas 中使用 Numpy 字符串对象表示 object，有部分是因为 Numpy 中缺乏多缺省字符串值的支持。因为python是高级的脚本语言，并没有对如何在内存中存储数据进行精细的控制。

此限制导致字符串以碎片化的形式存储，消耗了更多内存，导致获取慢。实际上，object列的元素是存储在内存中真实值的指针。

下图展示了数值类型如何以Numpy数据存储以及如何以python内置类型存储字符串：

你可能注意到了，object 使用的是可变大小内存。每一个指针使用1字节，每一个字符串使用的字节数和存储在python中单独存储字符串使用的字节数相同。让我们使用 sys.getsizeof 说明：首先看一下单独的字符串，然后看 pandas Series 中的项：

可以看出，存储在 pandas 中的字符串的字节数和存储在 python中的字符串字节数相同。

“对象”优化

v0.15开始，pandas 引入了 Categoricals。在低层，category 类型使用整型表示列中的值，而不是原始值。pandas 使用单独的字典来映射原始值和这些整数。当每一列包含有限的数据时，这非常有用。当pandas转换一列为 category 类型时，pandas 会使用最节省空间的 int 子类型表示每一列的唯一值。

为了直观的表示使用此类型可以节省内存，我们来看看每个 object 类型的唯一值数目：

从上述数据中可以看到，一些列的数据只包含很少的唯一值，也就是说大多数值都是重复的。

先选择一列，看看将其转换为类别类型之后会如何。使用 day_of_week 列数据，只包含了7个唯一值。使用 astype 方法将其转换为 category 类型：

数据类型发生了变化，但是看起来没什么区别。让我们看看低层发生了什么。

下面使用 Series.cat.codes 属性返回 category 类型表示的整型值：

每个唯一值都是整型值，数据类型为 int8。上述数据中没有缺省值，如果存在缺省值的话，category会将其转换为 -1。

让我们看看转换为 category 类型前后的内存使用情况：

内存使用从 9.84 MB降到 0.16 MB，内存使用减少了98%左右！！

如果转换所有列为 category 类型，那么内存使用量将极大的降低。首要问题是数值计算能力。转换为 category 类型之后，无法对其进行计算，也无法使用 Series.max 和 Sseries.min 等方法。

当唯一值数量少于50%时，应该使用 category 类。如果一列全是唯一值，转换为 category 类会极大的降低内存使用。关于 category 的更多限制见官方文档 [注1]。

注意：

如果 category 类型的数目接近数据的数，那么 Categorical 会使用和 object 类型差不多甚至更多的内存。

比如：

使用 Categorical 创建 Series 时，会得到视图而不是副本，就是说对 Series 所做的修改会反馈到 Categorical 。比如 (copy 参数可以控制返回副本)：

可以通过迭代检查的方式查看唯一值数量是否少于50%，如果是则将其转换为 category 类型：

此例中，所有的 object 列都转换为 category 类型。但是在其他情况下可能不会这样，所以要执行上述检查操作。

内存使用量从 752.72 MB 降到 52.67 MB，降低了 93%左右。将其和剩下的 DataFrame 合并，看看一开始的 861 MB内存会节省多少：

确实有改善！还有一种优化方式，数据列表中的第一列可以用 datetime 来表示：

作为整型读入，并且优化为 uint32类型，而datetime 是 64位类型，内存使用将是2倍。但是这样做更方便进行时间序列分析。

使用 pandas.to_datetime 函数进行转换：

读入数据时设置数据类型

目前为止，我们探索了一些节省 dataframe 内存占用的方法。先读入，然后优化。之前提到，我们可能没有那么多内存表示数据集中的全部值。如果不能一次读入 DataFrame，那么该如何节省内存呢？

幸运的是，在读入数据集时，我们可以指定最优化数据类型。pandas.read_csv 函数有一些参数可以这样做，dtypes 参数接受一个字典：键为字符串，键值表示 numpy 数据类型。

首先，存储每一列的数据类型到字典中 (先移除日期数据，因为要单独处理)：

现在我们使用字典，然后传入一些参数来处理日期数据从而准确读取日期：

优化之后，内存使用量从 861.6 MB 减少到 104.28 MB，降低了约 88%！！

分析棒球比赛

优化之后，开始进行一些分析。先看看比赛日期的分布：

1920年以前，棒球比赛很少在周日，随后的半个世纪才开始增多。

来看看比赛时长的变化：

1940年之后棒球比赛时长开始增加，从1950年前后开始增速较快。

总结

我们了解到 pandas 使用不同的数据类型存储数据。也是用了技巧有效的降低了内存占用量，而且降低了90%左右！！主要通过以下方式：

注1：https://pandas.pydata.org/pandas-docs/stable/categorical.html#gotchas