数据处理:飞一般的感觉

本次报告介绍了Python中数据读取和处理的优化方法,对比了csv、pkl、feather、json等数据存储格式的读写速度与空间占用,分析了各数据格式的具体应用场景,同时引入混合精度降低内存占用的具体实现方法,也阐明了向量化处理方式对程序运行速度的影响。

数据处理:飞一般的感觉-徐泽豪

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2022/12/26/%e6%95%b0%e6%8d%ae%e5%a4%84%e7%90%86%ef%bc%9a%e9%a3%9e%e4%b8%80%e8%88%ac%e7%9a%84%e6%84%9f%e8%a7%89/

(1)
bfsbfs
上一篇 2022年12月19日 上午9:00
下一篇 2023年1月2日 下午8:55

相关推荐

  • 超参数优化

    本次报告介绍了超参数的概念和对模型的影响,解释了超参数与模型参数的区别,详细讲解了网格搜索、随机搜索、贝叶斯优化三种优化方法,分析其使用场景及优缺点,最后列举了三种实用的开源调优工…

    2023年1月2日
    3.4K
  • 网络表示学习

          这次报告讲解了网络表示学习的基本概念,对LINE算法的原理进行了深入讲解,并对网络表示学习算法的应用场景做了…

    2018年9月17日
    3.5K
  • Windows漏洞利用技术总结

    1.前言 本文通过阅读几位大牛的文章、演讲报告、exploit编写教程等技术文档不断总结修改而成,列举了当前Windows下常见漏洞利用缓解技术的基本原理及绕过方法,具体技术细节则…

    2014年11月12日
    4.6K
  • 自动化程序缺陷修复及其应用研究

    大型复杂软件系统的高频率开发迭代,导致潜在缺陷数量增加,影响工业控制、交通管理等关键领域正常运转。缺陷修复指生成软件缺陷的修复代码,降低人工成本。研究自动化缺陷修复,能够及时修复软…

    2024年8月18日
    3.2K
  • 深度生成模型

    近年,机器学习已经在计算机视觉、语音识别、语音合成以及自然语言处理(NLP)领域取得了突破性成果,在机器翻译和情感计算中展现的能力也颇令人期待。 其中机器学习方法可以分为生成方法(…

    2022年1月14日
    3.6K
  • 深度神经网络鲁棒性评估方法

    本报告介绍了深度神经网络鲁棒性评估方法的基本概念和评估方式,并讲述了两种评估方法,分别从定性分析和定量计算两个角度讲述了如何对鲁棒性进行评估,提升对深度神经网络鲁棒性和评估方法的认…

    2023年4月3日
    3.9K
  • Android MediaRecorder架构详解

    1. 简介 在android中录制音频有两种方式,MediaRecorder和AudioRecord。两者的区别如下: (1) MediaRecorder 简单方便,不需要理会中间…

    2014年12月7日
    4.7K
  • 深度神经网络后门攻击

    人工智能模型安全是人工智能应用落地需要考量的重要问题,后门攻击威胁是人工智能模型安全的重要议题。本次学术报告以深度神经网络为后门攻击的对象,从深度神经网络训练的内部机理出发,通过了…

    2021年8月15日
    4.0K
  • 成员推理攻击和防御

    机器学习已经演化为了一种服务模式,即机器学习即服务模式。互联网公司或提供模型训练接口,或提供模型预测接口给用户以提供相应的服务。但是,在提供服务的整个过程中,机器学习模型不可避免的…

    2021年6月24日
    5.1K
  • 强化学习基础与实战

    本报告介绍了强化学习领域基本概念,详细介绍了Q-Learning算法和Deep Q Learning算法的原理,简要梳理了了两种算法的发展脉络,以经典案例windy grid-wo…

    2022年3月28日
    3.4K