数据处理:飞一般的感觉

本次报告介绍了Python中数据读取和处理的优化方法,对比了csv、pkl、feather、json等数据存储格式的读写速度与空间占用,分析了各数据格式的具体应用场景,同时引入混合精度降低内存占用的具体实现方法,也阐明了向量化处理方式对程序运行速度的影响。

数据处理:飞一般的感觉-徐泽豪

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2022/12/26/%e6%95%b0%e6%8d%ae%e5%a4%84%e7%90%86%ef%bc%9a%e9%a3%9e%e4%b8%80%e8%88%ac%e7%9a%84%e6%84%9f%e8%a7%89/

赞 (1)
bfsbfs
上一篇 2022年12月19日 上午9:00
下一篇 2023年1月2日 下午8:55

相关推荐

  • 鲁棒性认证方法

    随着对抗样本的危险性日益凸显,提高模型的鲁棒性成为研究的主要方向之一,然而,在评估鲁棒性方面还没有统一的标准,使得不同的防御方法之间对比存在很大的困难。

    2021年9月13日
    4.4K
  • 图半监督学习

          图半监督学习是半监督学习中的一种,基于聚类假设和流形假设,利用少量的有标记样本和大量的未标记样本,提高训练得…

    2018年9月3日
    3.5K
  • 基于图神经网络的二进制程序函数相似性检测

    二进制程序函数相似性检测常用于代码抄袭检测,同源漏洞判别,恶意软件分析等领域,本次报告主要简要介绍了基于图匹配,图嵌入的检测方法,详细介绍了基于图神经网络的相似性检测方法,最后介绍…

    2021年4月26日
    4.1K
  • 基于度量学习的小样本学习方法介绍

    Few-shot learning (FSL)的含义是得到从少量样本中学习和概括的能力,它希望机器学习模型在学习了一定类别的大量数据后,对于新的类别,只需要少量的样本就能快速学习。…

    2020年11月2日
    5.0K
  • 二进制代码开源成分分析

    二进制代码-源代码匹配是信息安全领域的重点研究方向之一。在给定二进制代码的情况下,逆向分析研究人员希望找到它对应的源代码,从而提升逆向分析的效率和准确率。但由于源代码和二进制代码的…

    2022年6月27日
    4.4K
  • 群体认知诊断技术研究

    智慧教育系统的不断发展促进了在线学习的用户数量爆炸式增长,对于学生认知水平诊断要求不断提高,群体认知诊断技术能够帮助平台挖掘学习群体的共性需求,增进教学效果。本次学术报告介绍了群体…

    2025年10月11日
    3.6K
  • python Web编程-Django

    本次学术报告介绍Web及其两种基本开发方式前后端分离和前后端不分离,然后针对pythonWeb开发中适合初学者且较为稳定的Django 展开介绍,内容主要包括Django基本开发模…

    2021年1月24日
    4.0K
  • 流式数据漂移应对方法

    该报告针对流式数据中的概念漂移问题,提出了两种应对方法:PUDD利用预测不确定性实现早期漂移检测,比传统错误率更敏感;CALIPER在漂移发生后基于数据自身判断何时累积足够数据以触…

    2026年5月7日
    2.5K
  • 神经网络模型测试方法与模型健壮性

    针对神经网络模型的缺陷测试使用了神经元覆盖率指标指导测试,这是一种从软件测试领域迁移的概念,指的是测试激活的神经元越多,测试越充分。但是近年来这种测试方法的有效性存疑,特别是测试生…

    2022年7月24日
    3.9K
  • 极端多标签文本分类

    极端多标签文本分类旨在为每个文本分配大量可能的标签,处理标签数量巨大和数据稀疏性问题。该技术通过高效的特征选择、标签嵌入和深度学习模型,提高分类准确性和速度。极端多标签文本分类广泛…

    2024年9月17日
    3.7K