栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 软件开发 > 后端开发 > Python

MATLAB int16 int32 int64注意事项

Python 更新时间:发布时间: 百科书网 趣学号

  在做项目的时候,要保留5位小数,所以有行MATLAB代码

a=double(int16(b*10000))/10000;

这样梁成大错。

int16最大不能超过2^15;

int32最大不能超过2^32;

int64最大不能超过2^64;

因为有b的值为7.5,所以7.5*10000>2^15,所以最后得到的数据全是错的。

以后要注意哦,避免再犯

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/1033655.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号