pytorch v1.0.1发布,无重大变化,主要修复bug以及性能优化
Song • 4833 次浏览 • 0 个回复 • 2019年02月15日

注意:我们的
conda
安装命令略有变化。版本说明(如cuda100)conda install pytorch cuda100 -c pytorch
已更改为conda install pytorch cudatoolkit=10.0 -c pytorch
此版本没有重大变化,主要修复了技术Bug
以及进行了一系列技术改进。
一、Bug修复
1、严重
CPU Convolutions
的高阶梯度已得到修复(regressed in 1.0.0 under MKL-DNN setting)#15686CPU
卷积中非连续权重的正确梯度#16301- 通过修复vec256反转修复CPU整数张量的ReLU#15634
- 修复
bincount
的非连续的Tensors #15109 - 修复
torch.norm
在CPU
大型Tensors
#15602 - 修复eq_在GPU上做相等(由于输入错误而做得更好 -(#15475)
- 解决CuDNN错误,该错误在某些跨步卷积梯度设置中产生错误结果
- strided dgrad的黑名单fft算法(#16626)
2、正确性
- 针对不同的输入长度修复
cuda native loss_ctc
(#15798)- 这避免了可变长度设置中的
NaN
- 这避免了可变长度设置中的
- C++前端:修复序列化(#15033)
- 修正了一个错误,其中一个子模块没有任何参数,但它的子模块却有。
- 修复
mvlgamma
的导数(#15049) - 修复
log_prob
中Gumbel
分布对数概率的数值稳定性(#15878) - 多项式:修复零概率事件的检测和绘制(#16075)
3、崩溃
- PyTorch binaries were crashing on AWS Lambda and a few other niche systems, stemming from CPUInfo handling certain warnings as errors. Updated CPUInfo with relevant fixes.
- MKL-DNN is now statically built, to avoid conflicts with system versions
- Allow ReadyQueue to handle empty tasks (#15791)
- Fixes a segfault with a DataParallel + Checkpoint neural network setting
- Avoid integer divide by zero error in indexput (#14984)
- Fix for model inference crash on Win10 (#15919) (#16092)
- Use CUDAGuard when serializing Tensors:
- Before this change, torch.save and torch.load would initialize the CUDA context on GPU 0 if it hadn't been initialized already, even if the serialized tensors are only on GPU 1.
- Fix error with handling scalars and rpow, for example 1 ^^ x, where x is a PyTorch scalar (#16687)
- Switch to CUDA implementation instead of CuDNN if batch size >= 65536 for affine_grid (#16403)
- CuDNN crashes when batch size >= 65536
- [Distributed] TCP init method race condition fix (#15684)
- [Distributed] Fix a memory leak in Gloo's CPU backend
- [C++ Frontend] Fix LBFGS issue around using inplace ops (#16167)
- [Hub] Fix github branch prefix v (#15552)
- [Hub] url download bugfix for URLs served without Content-Length header
三、性能
- LibTorch binaries now ship with CuDNN enabled. Without this change, many folks saw significant perf differences while using LibTorch vs PyTorch, this should be fixed now. #14976
- Make btriunpack work for high dimensional batches and faster than before (#15286)
- improve performance of unique with inverse indices (#16145)
- Re-enable OpenMP in binaries (got disabled because of a CMake refactor)
四、其他
- 为模块
Torch
创建类型提示存根文件(#16089)- 这将恢复PyCharm,VSCode等中的自动完成功能。
- 修复零维度的
sum_to
行为(#15796) - 在排序时考虑
NaNs
大于任何数字来匹配NumPy
(#15886) - 修复动态权重
GRU/LSTM
中的各种错误消息/设置(#15766) - C++前端:在模块持有者呼叫转移时调用操作符(#15831)
- C++前端:将规范化转换添加到核心库(#15891)
- 修复
torch::load
和unpacktorch::optim::detail
命名空间中的错误(#15926) - 实施批量上三角形,下三角形(#15257)
- 添加
torch.roll
到文档(#14880) - (更好的错误)添加批量规范的后端检查(#15955)
五、JIT
- 在
graph fuser
中为bool添加更好的支持(#15057) - 允许使用
fork/wait
进行跟踪(#15184) - 改进
script/no script
保存错误(#15321) - 将自己添加到
Python printer
保留words
(#15318) torch.load-ing
加载JIT
模型时出现更好的错误(#15578)- 在块操作后修复选择(#15672)
- 添加脚本标准库
documentation + cleanup
(#14912)
原创文章,转载请注明 :pytorch v1.0.1发布,无重大变化,主要修复bug以及性能优化 - pytorch中文网
原文出处: https://ptorch.com/news/234.html
问题交流群 :168117787
- 没有评论