微信公众号：「Python读财」 如有问题或建议，请公众号留言

Pandas是Python中用于数据处理与分析的屠龙刀，想必大家也都不陌生，但Pandas在使用上有一些技巧和需要注意的地方，尤其是对于较大的数据集而言，如果你没有适当地使用，那么可能会导致Pandas的运行速度非常慢。

对于程序猿/媛而言，时间就是生命，这篇文章给大家总结了一些pandas常见的性能优化方法，希望能对你有所帮助！

读取数据是进行数据分析前的一个必经环节，pandas中也内置了许多数据读取的函数，最常见的就是用pd.read_csv()函数从csv文件读取数据，那不同格式的文件读取起来有什么区别呢？哪种方式速度更快呢？我们做个实验对比一下。

这里采用的数据共59万行，分别保存为xlsx、csv、hdf以及pkl格式，每种格式进行10次读取测试，得到下面的结果。

可以看到，对同一份数据，pkl格式的数据的读取速度最快，是读取csv格式数据的近6倍，其次是hdf格式的数据，速度最惨不忍睹的是读取xlsx格式的数据（这仅仅是一份只有15M左右大小的数据集呀）。

所以对于日常的数据集（大多为csv格式），可以先用pandas读入，然后将数据转存为pkl或者hdf格式，之后每次读取数据时候，便可以节省一些时间。代码如下：

在使用agg和transform进行操作时，尽量使用Python的内置函数，能够提高运行效率。（数据用的还是上面的测试用例）

1、agg+Python内置函数

2、agg+非内置函数

可以看到对 agg 方法，使用内置函数时运行效率提升了60%。

3、transform+Python内置函数

4、transform+非内置函数

对transform方法而言，使用内置函数时运行效率提升了两倍。

假设我们现在有这样一个电力消耗数据集，以及对应时段的电费价格，如下图所示：

数据集记录着每小时的电力消耗，如第一行代表2001年1月13日零点消耗了0.586kwh的电。不同使用时段的电费价格不一样，我们现在的目的是求出总的电费，那么就需要将对应时段的单位电费×消耗电量。下面给出了三种写法，我们分别测试这三种处理方式，对比一下这三种写法有什么不同，代码效率上有什么差异。

我们用一个简单的例子测试一下numba的提速效果

从测试结果来看，再次凸显出向量化处理的优势，同时numba对原本速度已经很快的向量化处理也能提高一倍多的效率。更多numba的使用方法请参考numba的使用文档。

参考资料：

1、https://pandas.pydata.org/pandasdocs/stable/user_guide/enhancingperf.html

2、https://realpython.com/fast-flexible-pandas/

3、https://www.cnblogs.com/wkang/p/9794678.html

原创不易，如果觉得有点用，希望可以随手点个赞，拜谢各位老铁。

扫码关注公众号「Python读财」，第一时间获取干货，还可以加数据分析学习交流群！！