栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 软件开发 > 后端开发 > Python

pytorch torch.save()方法保存数据被强制杀死进程,报错:killed 端口号 PYTHONUNBUFFERED=1

Python 更新时间:发布时间: 百科书网 趣学号

使用pytorch的来保存变量的时候,被Ubuntu系统强制杀死,其实原因主要就是因为内存不够,这是Ubuntu的一种自我保护机制,为了防止还加载大数据时内存不够而导致系统崩溃,所以采取的一种系统自我保护措施,我大概是保存了20个G的数据,用torch.save保存成pt文件,都加载完了,结果save的时候被杀死。
解决方法:
设置虚拟内存swap。其实目的就是为了在内存条的容量不够的时候,用硬盘上临时画出来的空间来代替内存条。当然,swap肯定是不如内存条读写快的,所以要费劲一些,但是可以解决内存爆掉的问题呢。
Ubuntu扩充swap的方法:
1、找个固定的位置,新建一个文件夹

mkdir swap

2、设置虚拟内存大小,count就是内存大小,单位是G,这个就是16G,执行成功的结果大概就是记录了啥啥的写入

sudo dd if=/dev/zero of=swapfile bs=1073741824 count=16

3、这步执行成功会输出一个UUID的号

sudo mkswap swapfile

4、最后一步,这一步执行时间较长,不要着急,耐心等待,

sudo swapon swapfile

5、成功后使用top命令测试下,swap那一项就是虚拟内存空间

top
转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/293756.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号