数据处理:飞一般的感觉

本次报告介绍了Python中数据读取和处理的优化方法,对比了csv、pkl、feather、json等数据存储格式的读写速度与空间占用,分析了各数据格式的具体应用场景,同时引入混合精度降低内存占用的具体实现方法,也阐明了向量化处理方式对程序运行速度的影响。

数据处理:飞一般的感觉-徐泽豪

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2022/12/26/%e6%95%b0%e6%8d%ae%e5%a4%84%e7%90%86%ef%bc%9a%e9%a3%9e%e4%b8%80%e8%88%ac%e7%9a%84%e6%84%9f%e8%a7%89/

(1)
bfsbfs
上一篇 2022年12月19日 上午9:00
下一篇 2023年1月2日 下午8:55

相关推荐

  • 基于GAN的表格数据生成

    生成式对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。本次学术报告将回顾关…

    2020年10月12日
    5.6K
  • 网络表示学习-Deepwalk

          网络表示是衔接网络原始数据和网络应用任务的桥梁。网络表示学习算法负责从网络数据中学习得到网络中每个节点的向量…

    2019年3月18日
    3.0K
  • 大语言模型调研

    针对大语言模型展开调研,介绍大语言模型发展背景和研究现状,通过讲解LLaMA2模型的预训练和微调步骤,全面讲解大语言模型的训练过程,随后对越狱攻击大语言模型的方法进行研究,通过讲解…

    2024年1月3日
    3.3K
  • 时序知识图谱推理方法

    时序知识图谱推理根据历史时序知识图谱中已知事实,预测查询中缺失的实体或关系,避免知识图谱不完整性对知识驱动系统造成的影响。本次学术报告首先讲解了时序知识图谱推理基本概念,然后详细介…

    2023年9月27日
    3.3K
  • 虚拟化平台操作系统内核级恶意攻击行为及其检测技术

          虚拟化技术的提出为操作系统内核安全的保护引入了新的思路和手段——虚拟机监视器( Virtual Machin…

    2019年5月20日
    3.2K
  • 基于图的知识追踪方法研究

    随着智慧教育系统(Intelligent Tutoring System, ITS)的快速发展,ITS以其时空约束少、便捷程度高和个性化定制学习的优势,在现代教育事业中获得广泛关注…

    2023年5月15日
    3.4K
  • 大模型协同的软件模糊测试技术

    复杂软件的模糊测试在大模型快速发展的当下,已经有了多种自动化测试方案,但受制于大模型的生成模式而存在测试效率低、成本高的问题。本次学术报告结合ProphetFuzz和G2FUZZ两…

    2026年3月30日
    2.8K
  • 机生文本检测中的对抗攻击与鲁棒防御

    大语言模型生成文本规模持续扩大,释义改写、词语替换和字符扰动等对抗攻击削弱了检测可靠性。本次学术报告聚焦机生文本检测攻防对抗,系统介绍基于释义逆变换与动态对抗训练的鲁棒防御方法,分…

    2026年7月20日
    279
  • 视频深度伪造及检测技术——攻与防

    摘要:本报告介绍了视频深度伪造的基本算法,针对算法中存在的3个问题,重点讲述了在小样本条件下的域迁移学习生成伪造视频,并通过攻防对抗的概念引出了伪造视频检测算法,阐明针对伪造视频中…

    2023年2月20日
    3.5K
  • 卷积神经网络在图中的应用

          卷积神经网络可以有效提取空间特征,但是它研究的对象还是限制在具有规则空间结构的欧几里得数据。本次学术报告重点…

    2018年8月20日
    3.6K