数据处理:飞一般的感觉

本次报告介绍了Python中数据读取和处理的优化方法,对比了csv、pkl、feather、json等数据存储格式的读写速度与空间占用,分析了各数据格式的具体应用场景,同时引入混合精度降低内存占用的具体实现方法,也阐明了向量化处理方式对程序运行速度的影响。

数据处理:飞一般的感觉-徐泽豪

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2022/12/26/%e6%95%b0%e6%8d%ae%e5%a4%84%e7%90%86%ef%bc%9a%e9%a3%9e%e4%b8%80%e8%88%ac%e7%9a%84%e6%84%9f%e8%a7%89/

(1)
bfsbfs
上一篇 2022年12月19日 上午9:00
下一篇 2023年1月2日 下午8:55

相关推荐

  • 网络未知协议逆向技术

    网络协议逆向技术是指根据网络流量数据包进行静态分析,推断其所属协议的字段信息、报文格式、交互模式等信息。针对互联网中存在的大量未知(私有)协议进行逆向分析,发现潜在安全漏洞,对维护…

    2024年12月23日
    1.6K
  • 开放式信息抽取技术

    本报告介绍了开放式信息抽取(OIE)的基本概念,展示了Neural OIE的两大类方法原理,并分别讲述了基于Transformer的Nerual OIE技术和利用Meta-Lear…

    2023年5月4日
    1.4K
  • 面向数据异构与通信高效的联邦大模型优化与应用研究

    联邦大模型将联邦学习与大语言模型相结合,遵循“数据不动、模型动”的原则,在无需集中原始数据的前提下,共同训练与优化大模型。该技术能有效破解数据孤岛,为医疗、教育等领域提供隐私安全的…

    2025年10月27日
    1.2K
  • 命名实体识别简介

    2014年10月18日
    1.7K
  • 二进制代码补丁存在性测试

    二进制代码补丁存在性测试(Patch Presence Test, PPT) 旨在检测目标二进制文件是否已应用特定补丁,以确保安全性和合规性。希望在这次学术报告中,大家掌握二进制代…

    2025年3月3日
    1.1K
  • 敏感文本数据脱敏方法

    本次报告对文本数据的脱敏方法展开介绍,介绍了目前常用的文本数据脱敏方法,重点讲解了文本数据泛化脱敏的基本概念,详细阐述了文本泛化脱敏方法和文本差分隐私噪声扰动脱敏方法,最后对比了文…

    2022年5月30日
    2.5K
  • 法律文本可解释性研究

    法律文本可解释性研究是将可解释性研究方法应用到法律文本领域,旨在构建智慧法庭,辅助法官判案,实现法律检索和类案匹配。本次学术报告从案件罪名预测和相似案例匹配两个应用角度进行讲解,对…

    2020年11月22日
    1.4K
  • 深度神经网络后门攻击

    人工智能模型安全是人工智能应用落地需要考量的重要问题,后门攻击威胁是人工智能模型安全的重要议题。本次学术报告以深度神经网络为后门攻击的对象,从深度神经网络训练的内部机理出发,通过了…

    2021年8月15日
    1.8K
  • Deep Learning词向量生成–CBOW和Skip-gram

      Deep Learning词向量生成的方法通过神经网络模型让机器自动学习到每个词有效的特征表示,而CBOW模型和Skip-gram模型是目前最流行、常用的Deep learni…

    学术报告 2017年10月13日
    1.3K
  • 提高对抗鲁棒性的特征降噪方法

    当深度学习以惊人的准确性执行各种各样任务的同时,在图像分类等领域的深度神经网络却容易受到对抗样本的攻击,从而输出错误的预测结果。本次学术报告首先说明了对抗攻防的主要方法分类和残差网…

    2021年4月19日
    1.6K