数据处理:飞一般的感觉

本次报告介绍了Python中数据读取和处理的优化方法,对比了csv、pkl、feather、json等数据存储格式的读写速度与空间占用,分析了各数据格式的具体应用场景,同时引入混合精度降低内存占用的具体实现方法,也阐明了向量化处理方式对程序运行速度的影响。

数据处理:飞一般的感觉-徐泽豪

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2022/12/26/%e6%95%b0%e6%8d%ae%e5%a4%84%e7%90%86%ef%bc%9a%e9%a3%9e%e4%b8%80%e8%88%ac%e7%9a%84%e6%84%9f%e8%a7%89/

(1)
bfsbfs
上一篇 2022年12月19日 上午9:00
下一篇 2023年1月2日 下午8:55

相关推荐

  • 超参数优化

    本次报告介绍了超参数的概念和对模型的影响,解释了超参数与模型参数的区别,详细讲解了网格搜索、随机搜索、贝叶斯优化三种优化方法,分析其使用场景及优缺点,最后列举了三种实用的开源调优工…

    2023年1月2日
    3.2K
  • 深度学习模型校准技术

    深度学习模型校准技术是模型预测可靠性的重要保障手段之一,其通过正则化或后处理方法调节模型对样本实例上的置信度,使其与预测的真实概率良好匹配。本次报告介绍了深度学习模型校准的基本概念…

    2024年7月2日
    3.5K
  • 学术论文评审意见生成方法研究

    学术论文投稿数量的不断增长带来巨大审稿压力,而人工智能和大数据的发展为学术论文自动化评审提供了契机。本次学术报告介绍了学术论文评审意见生成的两种最新方法,为减轻审稿人负担、提高评审…

    2025年9月22日
    3.1K
  • 梯度消失和梯度爆炸的原因及解决方案

          在训练层数较多的神经网络的过程中,使用基于反向传播的梯度优化算法来优化参数有可能会遇到梯度消失或梯度爆炸的问…

    2018年5月21日
    3.9K
  • 单词级文本对抗攻击

    本报告介绍了单词级文本对抗攻击(Word-Level Attack)的背景和基本原理,展示了在OpenAttack和TextAttack两类开源工具上的测试样例,并分别讲述了基于义…

    2023年5月29日
    3.8K
  • 基于深度学习的恶意软件检测

    1.恶意软件检测发展历史2.深度学习在恶意软件检测上的应用3.恶意软件反检测技术

    2020年9月27日
    3.2K
  • 基于网络流量的设备识别

    介绍了设备识别的发展历史、各层协议的特征及其优劣性,对两篇关于内网、外网识别的高水平文献进行了讲解,对比了设备识别的主要研究方向,以期帮助初学者快速了解领域内的动态及发展前景。

    2020年10月8日
    4.2K
  • Windows漏洞利用技术总结

    1.前言 本文通过阅读几位大牛的文章、演讲报告、exploit编写教程等技术文档不断总结修改而成,列举了当前Windows下常见漏洞利用缓解技术的基本原理及绕过方法,具体技术细节则…

    2014年11月12日
    4.4K
  • HTTPS浅析

        HTTPS(全称:Hyper Text Transfer Protocol over Secure Socket Layer),是以…

    学术报告 2018年3月18日
    3.4K
  • 网络拓扑混淆技术

    这篇报告围绕网络拓扑混淆技术展开,首先阐述了网络拓扑脆弱性及攻击者推理真实结构的威胁,强调了混淆防御的重要性。报告详细介绍了AntiTomo和EigenObfu两种主流方法,包括各…

    2025年4月27日
    3.3K