在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
Pandas作为数据分析的屠龙宝刀,毫不夸张的说,功能和优势都极其强大。像是支持GB数据处理,多样的数据清洗方法;支持多种开源可视化工具包,更加丰富的数据成果展示等等。因此如果能做好性能优化,就可以极大的提高Pandas的运行速度。本文为大家总结了四大优化Pandas性能的方法,感兴趣的朋友就赶紧看下去吧!
1、数据读取的优化
读取数据是进行数据分析前的一个必经环节,pandas中也内置了许多数据读取的函数,最常见的就是用pd.read_csv()函数从csv文件读取数据。pkl格式的数据的读取速度最快,所以对于日常的数据集(大多为csv格式),可以先用pandas读入,然后将数据转存为pkl或者hdf格式,之后每次读取数据时候,便可以节省一些时间。代码如下:
import pandas as pd
#读取csv
df = pd.read_csv('xxx.csv')
#pkl格式
df.to_pickle('xxx.pkl') #格式另存
df = pd.read_pickle('xxx.pkl') #读取
#hdf格式
df.to_hdf('xxx.hdf','df') #格式另存
df = pd.read_hdf('xxx.pkl','df') #读取
2、进行聚合操作时的优化
在使用 agg 和 transform 进行操作时,尽量使用Python的内置函数,能够提高运行效率。(数据用的还是上面的测试用例)
(1)agg+Python内置函数
(2)agg+非内置函数
可以看到对 agg 方法,使用内置函数时运行效率提升了60%。
(3)transform+Python内置函数
(4)transform+非内置函数
对 transform 方法而言,使用内置函数时运行效率提升了两倍。
3、对数据进行逐行操作时的优化
假设我们现在有这样一个电力消耗数据集,以及对应时段的电费价格。数据集记录着每小时的电力消耗,如第一行代表2001年1月13日零点消耗了0.586kwh的电。不同使用时段的电费价格不一样,我们现在的目的是求出总的电费,那么就需要将对应时段的单位电费×消耗电量。下面给出了三种写法,我们分别测试这三种处理方式,对比一下这三种写法有什么不同,代码效率上有什么差异。
#编写求得相应结果的函数
def get_cost(kwh, hour):
if 0 <= hour < 7:
rate = 0.6
elif 7 <= hour < 17:
rate = 0.68
elif 17 <= hour < 24:
rate = 0.75
else:
raise ValueError(f'Invalid hour: {hour}')
return rate * kwh
#方法一:简单循环
def loop(df):
cost_list = []
for i in range(len(df)):
energy_used = df.iloc[i]['energy_kwh']
hour = df.iloc[i]['date_time'].hour
energy_cost = get_cost(energy_used, hour)
cost_list.append(energy_cost)
df['cost'] = cost_list
#方法二:apply方法
def apply_method(df):
df['cost'] = df.apply(
lambda row: get_cost(
kwh=row['energy_kwh'],
hour=row['date_time'].hour),
axis=1)
#方法三:采用isin筛选出各时段,分段处理
df.set_index('date_time', inplace=True)
def isin_method(df):
peak_hours = df.index.hour.isin(range(17, 24))
simple_hours = df.index.hour.isin(range(7, 17))
off_peak_hours = df.index.hour.isin(range(0, 7))
df.loc[peak_hours, 'cost'] = df.loc[peak_hours, 'energy_kwh'] * 0.75
df.loc[simple_hours,'cost'] = df.loc[simple_hours, 'energy_kwh'] * 0.68
df.loc[off_peak_hours,'cost'] = df.loc[off_peak_hours, 'energy_kwh'] * 0.6
测试结果:
可以看到,采用 isin() 筛选出对应数据后分开计算的速度是简单循环的近606倍,这并不是说 isin() 有多厉害,方法三速度快是因为它采用了向量化的数据处理方式(这里的isin() 是其中一种方式,还有其他方式,大家可以尝试一下) ,这才是重点。
4、使用numba进行加速
如果在你的数据处理过程涉及到了大量的数值计算,那么使用numba可以大大加快代码的运行效率,numba使用起来也很简单,下面给大家演示一下。(代码处理不具有实际意义,只是展示一下效果)
首先需要安装numba模块
>>>pip install numba
我们用一个简单的例子测试一下numba的提速效果
import numba
@numba.vectorize
def f_with_numba(x):
return x * 2
def f_without_numba(x):
return x * 2
#方法一:apply逐行操作
df["double_energy"] = df.energy_kwh.apply(f_without_numba)
#方法二:向量化运行
df["double_energy"] = df.energy_kwh*2
#方法三:运用numba加速
#需要以numpy数组的形式传入
#否则会报错
df["double_energy"] = f_with_numba(df.energy_kwh.to_numpy())
从测试结果来看,再次凸显出向量化处理的优势,同时numba对原本速度已经很快的向量化处理也能提高一倍多的效率。更多numba的使用方法请参考numba的使用文档。
以上就是提高Pandas运行速度的优化方法,大家都get到了吗?如果想要学习Pandas的实战教程,可以上博学谷官网在线学习《数据分析进阶必备技能:Pandas》课程,想要了解课程的更多内容,可以点击课程链接https://www.boxuegu.com/promote/detail-1480.html
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
零基础能学Python开发吗?
Python作为自动化测试、自动化运维、人工智能以及数据分析最长用的语言,吸引了很大一部分同学加入到Python学习的行列中,其中不少同学会问“零基础能学Python开发吗?”实际这个问题是一个伪命题,任何一门技术都是从不会到会的一个过程。虽然有一定的基础的情况下学习某项技能肯定会更加容易,但是作为零基础的人如果可以找到适合的学习方法并且坚持学习也是完全可以掌握python开发这项技能的。
7231
2019-08-08 10:23:28
Python和C语言哪个难?零基础学哪个好?
Python和C语言哪个难?零基础学哪个好?Python上手简单有交互性强的开发环境,还有众多的第三方库,学习起来会比C/C++容易的多。C过于底层强在内存操作,功能实现起来却十分复杂并不适合新手作为上手语言。
18706
2019-08-07 15:50:54
学Python需要安装什么软件?Python软件工具大全
工欲善其事必先利其器。初学者在学Python的时候,往往会因为没有好用的软件工具,走了很多弯路。因此一些好用的软件工具,可以极大地提高开发效率,那么学Python需要安装什么软件呢?本文为大家整理了几款常用的Python软件工具。
5964
2019-08-20 09:54:41
Python正则表达式六种函数实例讲解
Python正则表达式是简介表达一组字符串的表达式,正则表达式可以方便的检查一个字符串是否与某种模式匹配。本文将结合实例给大家讲解六种在正则表达式中的常见函数,分别是re.match、re.search、re.findall、re.compile、re.split和re.sub。
8251
2019-09-02 17:52:33
Python基础学习之逻辑术语
在Python基础学习的过程中,逻辑术语是必须要牢牢记住的。可能死记硬背逻辑术语本身是比较无聊枯燥的事情,但如果你能每天都坚持记住一点内容,用不了多久你就能全部掌握这些逻辑术语,然后在使用它们的过程中,获得学习的正向反馈,从而收获学习的乐趣,下面我们一起来学习Python的逻辑术语吧~
4909
2020-04-22 17:48:23