Pytorch v1.1.0发布,官方增加TensorBoard支持以及优化JIT/TorchScript

Song • 1249 次浏览 • 0 个回复 • 2019年07月08日

注意:不再支持CUDA 8.0

强调

1、TensorBoard(目前正在试验中)

使用TensorBoard进行可视化和模型调试的一流和原生支持,TensorBoard是一个用于检查和理解训练运行,张量和图形的Web应用程序套件。PyTorch现在通过一个简单的from torch.utils.tensorboard import SummaryWriter命令支持TensorBoard日志记录。可以在训练运行中显示直方图,embeddings,标量,图像,文本,图形等。pytorchTensorBoard支持目前处于实验阶段,你可以在这里查看文档

2、[JIT] ScriptModules中的属性

可以通过将属性ScriptModule包装torch.jit.Attribute并指定类型来分配属性。属性类似于参数或缓冲区,但可以是任何类型。当您调用时torch.jit.save(),它们将与任何参数/缓冲区一起序列化,因此它们是在模型中存储任意状态的好方法。有关详细信息,请参阅文档。关于JIT简介,参考pytorch v1.0rc0发布,新发布torch.jit和C++ API以及c10d库

例:

class Foo(torch.jit.ScriptModule):
  def __init__(self, a_dict):
    super(Foo, self).__init__(False)
    self.words = torch.jit.Attribute([], List[str])
    self.some_dict = torch.jit.Attribute(a_dict, Dict[str, int])

  @torch.jit.script_method
  def forward(self, input: str) -> int:
    self.words.append(input)
    return self.some_dict[input]

3、[JIT] TorchScript中的字典和列表支持

TorchScript现在对列表和字典类型提供了强大的支持。它们与Python列表和词典非常相似,支持大多数内置方法,以及简单的理解和for…in构造。

4、[JIT] TorchScript中的用户定义类(实验)

对于更复杂的有状态操作,TorchScript现在支持使用注释类@torch.jit.script。以这种方式使用的类可以像其他TorchScript模块一样在J++中进行JIT编译和加载。有关详细信息,请参阅文档

@torch.jit.script
class Pair:
    def __init__(self, first, second)
        self.first = first
        self.second = second

    def sum(self):
        return self.first + self.second

5、DistributedDataParallel新功能和教程

nn.parallel.DistributedDataParallel:现在可以包装多GPU模块,这可以在一台服务器上实现模型并行(教程)和跨服务器的数据并行(教程)等用例。 (19271)。

突破性变化

  • 1、Tensor.set_deviceTensor不能再通过Tensor.set_改变。
  • 2、注意order的变化lr_scheduler.step()
  • 2、torch.unique:更改了sortedto默认值为True
  • 3、[JIT]重命名isTensor api -> isCompleteTensor
  • 4、[JIT]删除GraphExecutorpython绑定。
  • 5、[C ++]:许多Type方法已不复存在; 使用functionalTensor方法替代。
  • 6、[C ++]Backend构造函数TensorOptions不再存在。(18137)。
  • 7、[C ++,分布式]:删除c10dProcessGroup::getGroupRank已删除 。

原创文章,转载请注明 :Pytorch v1.1.0发布,官方增加TensorBoard支持以及优化JIT/TorchScript - pytorch中文网
原文出处: https://ptorch.com/news/247.html
问题交流群 :168117787
提交评论
要回复文章请先登录注册
用户评论
  • 没有评论
Pytorch是什么?关于Pytorch! 基于pytorch的车牌识别