数据处理:飞一般的感觉

本次报告介绍了Python中数据读取和处理的优化方法,对比了csv、pkl、feather、json等数据存储格式的读写速度与空间占用,分析了各数据格式的具体应用场景,同时引入混合精度降低内存占用的具体实现方法,也阐明了向量化处理方式对程序运行速度的影响。

数据处理:飞一般的感觉-徐泽豪

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2022/12/26/%e6%95%b0%e6%8d%ae%e5%a4%84%e7%90%86%ef%bc%9a%e9%a3%9e%e4%b8%80%e8%88%ac%e7%9a%84%e6%84%9f%e8%a7%89/

(1)
bfsbfs
上一篇 2022年12月19日 上午9:00
下一篇 2023年1月2日 下午8:55

相关推荐

  • 成员推理攻击

    成员推理攻击(Membership Inference Attack)作为一种隐私攻击方法,其攻击对象是机器学习目标模型,攻击目标是推理一条或一批数据是否作为目标模型的训练集,以此…

    2022年10月16日
    5.5K
  • 文本生成中的幻觉

    本次报告讲解了文本生成中的幻觉问题。首先从文本生成的基本原理出发引入到幻觉问题,着重介绍了幻觉的概念、产生原因以及解决方法。然后从添加外部信息和幻觉数据处理两个角度入手分别介绍了K…

    2023年8月20日
    2.5K
  • 基于GAN的网络流量对抗样本生成技术

    随着机器学习的发展,机器学习已经广泛应用于入侵检测,但研究发现基于机器学习的检测技术存在安全隐患,极易遭受对抗样本的攻击,为了更好的评估入侵检测系统的鲁棒性,研究网络流量的对抗样本…

    2021年1月10日
    5.0K
  • 基于汇编指令嵌入的漏洞同源性判别

    同源函数是由相同源码编译得到的程序函数。同源漏洞判别是漏洞挖掘的主要方法之一,用于发现已知漏洞的同源漏洞。本次报告主要汇报基于汇编指令嵌入的同源漏洞判别方法,介绍了汇编指令嵌入的基…

    2021年11月8日
    2.5K
  • 鲁棒性认证方法

    随着对抗样本的危险性日益凸显,提高模型的鲁棒性成为研究的主要方向之一,然而,在评估鲁棒性方面还没有统一的标准,使得不同的防御方法之间对比存在很大的困难。

    2021年9月13日
    3.2K
  • 基于大模型微调的学术论文评审意见生成方法

    大语言模型为自动化评审提供了发展契机,但通用AI模型在进行初步筛查和生成评审报告时,普遍存在积极性偏差、知识幻觉以及评价缺乏深度的缺陷。本次学术报告结合DeepReviewer和R…

    2026年4月21日
    2.3K
  • 人工智能生成内容检测

    本学术报告概述了人工智能生成内容检测的背景、挑战及两种核心算法——DetectGPT和DeTeCtive。重点阐述了基于概率曲率的零样本检测方法和多级对比学习框架,分析了其原理、优…

    2025年1月5日
    3.0K
  • 大模型支持的程序崩溃故障定位方法

    本次报告聚焦大模型支持下的程序崩溃故障定位方法,介绍了AutoFL与FlexFL两个代表性算法,重点讲解了函数交互在大模型中的创新应用,并比较开源与闭源模型在定位精度与效率上的表现…

    2025年6月16日
    3.1K
  • 缓冲区溢出漏洞浅析

    1.认识漏洞   1.1.漏洞的定义 百度:漏洞是在硬件、软件、协议的具体实现或系统安全策略上存在的缺陷,从而可以使攻击者能够在未授权的情况下访问或破坏系统。 Wikip…

    2014年10月21日
    3.4K