数据处理:飞一般的感觉

本次报告介绍了Python中数据读取和处理的优化方法,对比了csv、pkl、feather、json等数据存储格式的读写速度与空间占用,分析了各数据格式的具体应用场景,同时引入混合精度降低内存占用的具体实现方法,也阐明了向量化处理方式对程序运行速度的影响。

数据处理:飞一般的感觉-徐泽豪

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2022/12/26/%e6%95%b0%e6%8d%ae%e5%a4%84%e7%90%86%ef%bc%9a%e9%a3%9e%e4%b8%80%e8%88%ac%e7%9a%84%e6%84%9f%e8%a7%89/

(1)
bfsbfs
上一篇 2022年12月19日 上午9:00
下一篇 2023年1月2日 下午8:55

相关推荐

  • 网络爬虫技术介绍

          网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网…

    2019年4月3日
    1.3K
  • 文本生成大模型后门攻击研究

    研究文本生成大模型的后门攻击,揭示了现有文本大模型的后门风险。本次学术报告详细介绍了现有文本生成模型的后门分类方法以及基准数据集,在文本大模型的多个下游任务实现了后门攻击,并总结了…

    2025年3月24日
    1.6K
  • 平面多标签文本分类方法

    多标签文本分类是对文本信息进行组织、利用和检索的有效手段,能够提高数据处理效率,具有重要的实际价值。平面多标签文本分类是多标签分类下的子任务,标记每个给定文本与最相关的多个标签。本…

    2023年12月27日
    1.0K
  • 可解释的假新闻检测

    虚假新闻对社会产生了许多负面影响。现有假新闻检测方法按照输入条件,可分为基于新闻内容及其外部知识的方法,以及基于社交上下文的方法。最新的方法在检测假新闻方面取得了较高的精度,然而这…

    2022年11月14日
    1.6K
  • 人工智能生成内容检测

    本学术报告概述了人工智能生成内容检测的背景、挑战及两种核心算法——DetectGPT和DeTeCtive。重点阐述了基于概率曲率的零样本检测方法和多级对比学习框架,分析了其原理、优…

    2025年1月5日
    1.7K
  • 基于Transformer的时间序列分析

    本次报告主要从Transformer框架入手,介绍基于Transformer模型的时间序列分析方法。针对Transformer模型的位置嵌入、注意力机制、模型架构三个方向在时间序列…

    2023年6月17日
    1.5K
  • 不完全多视图聚类技术

    不完全多视图聚类技术旨在处理多视图数据中部分视图缺失的问题,确保在数据不完整的情况下仍能进行有效的聚类分析。通过整合各视图的信息,该技术能够弥合视图之间的差异,提升聚类性能。其应用…

    2024年9月10日
    1.2K
  • 网络表示学习

          这次报告讲解了网络表示学习的基本概念,对LINE算法的原理进行了深入讲解,并对网络表示学习算法的应用场景做了…

    2018年9月17日
    1.2K
  • 如何优雅地阅读和复用代码

    面对大型软件项目,如何准确、快速地找到目标代码的位置将会极大地加速我们的二次开发。本次报告以GUI程序为例介绍了软件源码查找、修改和使用的一般流程。对初学者的软件项目开发工作大有裨…

    2020年1月2日
    1.6K
  • 小样本实体关系抽取方法

    信息抽取是自然语言处理中的重要组成部分,特别是在当今信息化社会中,从海量数据中抽取出有用的信息显得格外有意义。实体关系抽取是信息抽取的基础任务。现实生活中存在着长尾分布的问题,这导…

    2021年10月21日
    2.1K