本站消息

站长简介/公众号


站长简介:逗比程序员,理工宅男,前每日优鲜python全栈开发工程师,利用周末时间开发出本站,欢迎关注我的微信公众号:幽默盒子,一个专注于搞笑,分享快乐的公众号

  价值13000svip视频教程,python大神匠心打造,零基础python开发工程师视频教程全套,基础+进阶+项目实战,包含课件和源码

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2020-10(74)

2020-11(25)

使用Modin让Python发挥到极致

发布于2019-08-17 19:04     阅读(288)     评论(0)     点赞(5)     收藏(4)



        Python用pandas 对特定格式进行处理时会很方便,譬如对jmeter性能测试结果进行分析,如果这个数据比较大(几十个G的数据),这时候处理起来就比较费力,需要的内存就比较大了,还可能导致报(memoryerrord的)错,当然数据比较小(几个G内的数据)处理起来还是不错的。

        导致这样的问题与Python语言的天生缺陷有关,不能使用多核CPU,所以就算服务器是多核处理器,在使用Pandas进行数据解析时还是用的服务器中的一个核,为了追求速度充分利用CPU,可以使用Modin库,它可以让你的Pandas运行速度更快。

 

Modin安装:

         在线安装: pip install modin  

         离线安装: https://github.com/modin-project/modin   (离线安装方法请自行百度)

使用方法:

import modin.pandas as pd

示例:

  1. import modin.pandas as pd
  2. df = pd.read_csv("my_dataset.csv")

速度提升:






所属网站分类: 技术文章 > 博客

作者:83748wuw

链接:https://www.pythonheidong.com/blog/article/48341/9656c4c4ccc45039daa6/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

5 0
收藏该文
已收藏

评论内容:(最多支持255个字符)