数据处理:飞一般的感觉

本次报告介绍了Python中数据读取和处理的优化方法,对比了csv、pkl、feather、json等数据存储格式的读写速度与空间占用,分析了各数据格式的具体应用场景,同时引入混合精度降低内存占用的具体实现方法,也阐明了向量化处理方式对程序运行速度的影响。

数据处理:飞一般的感觉-徐泽豪

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2022/12/26/%e6%95%b0%e6%8d%ae%e5%a4%84%e7%90%86%ef%bc%9a%e9%a3%9e%e4%b8%80%e8%88%ac%e7%9a%84%e6%84%9f%e8%a7%89/

(1)
bfsbfs
上一篇 2022年12月19日 上午9:00
下一篇 2023年1月2日 下午8:55

相关推荐

  • 多标签学习

    每天都有大量的数据生成,这导致人们越来越需要新的努力来应对大数据给多标签学习带来的巨大挑战。例如,极端多标签分类是一个活跃且快速发展的研究领域,它处理的分类任务具有极其大量的类别或…

    2021年8月22日
    2.0K
  • 媒体安全

    走近特定音频识别(之一)——让计算机分辨出“这是什么声音” 走进特定音频识别(之二)——计算机是靠什么来分辨声音种类的? 走进特定音频识别(之三)——检索 Vs 识别 走近特定音频…

    学术报告 2014年10月18日
    1.5K
  • Android进程注入

    1. 基本知识 由于Android系统使用的是Linux内核,在Linux上使用的很多攻防技术都能被应用到Android上,进程注入技术就是其中一种。(以下有关进程注入的描述大多针…

    2015年1月5日
    2.2K
  • 从生成机制探索机生文本检测新方法

    随着大语言模型生成文本规模持续扩大,跨模型、跨领域场景下的机生文本检测面临泛化性不足的挑战。本次学术报告从文本生成机制出发,系统介绍了基于前文记忆建模与多范围写作策略差异的代表性方…

    2026年1月5日
    1.8K
  • 对抗环境下的鲁棒机器学习

    对抗样本的存在表明现代神经网络是相当脆弱的。为解决这一问题,研究者相继提出了许多方法,其中使用对抗样本进行训练被认为是至今最有效的方法之一。 然而,经过对抗训练后神经网络对于正常样…

    2021年1月21日
    2.1K
  • 爬虫中的攻与防

    爬虫技术是获取数据的利器,它避免了繁琐又低效的人工数据搜集。爬虫带来获取数据极大便利的同时,也催生了反爬技术的发展。学术报告以反爬措施以及对抗反爬的手段作为议题,详细介绍了5类反爬…

    2020年5月10日
    2.2K
  • 基于图的课程推荐方法

    课程推荐在人机协同、个性化学习平台等智能教育系统中具有重要价值,显著提升了模型对用户兴趣动态变化的建模能力与推荐效果。本次报告将介绍课程推荐任务,分析其研究背景与应用意义,并重点讲…

    2025年4月22日
    1.5K
  • 动态异质图神经网络

    本次报告围绕动态图神经网络的最新研究进展展开,重点探讨其在处理时序图数据中的关键技术与应用。报告首先介绍了动态图的结构特性与建模挑战,随后系统分析了主流动态图神经网络架构的设计思想…

    2025年7月10日
    1.9K
  • 模型无关元学习

    元学习是人工智能领域继深度学习、深度强化学习、生成对抗之后,又一个重要的研究分支。模型无关元学(MAML)算法可以适用于多个领域,包括少样本的回归、图像分类,以及增强学习,并且使用…

    2020年3月9日
    2.3K
  • 基于深度学习的源代码漏洞挖掘

    安全漏洞的数量和复杂程度与日俱增,导致漏洞挖掘的成本也在不断升高。而近年对深度学习的研究使得机器具有分析学习能力,如何将深度学习算法应用漏洞挖掘技术成为研究热点。本次报告首先介绍了…

    2020年2月27日
    2.4K