pytext - Facebook AI开源的基于PyTorch的自然语言建模NLP框架

Song • 231 次浏览 • 0 个回复 • 2019年03月04日

一、概观

PyText是一个基于PyTorch构建的基于深度学习的NLP建模框架。PyText解决了实现快速实验和大规模服务模型的经常相互冲突的要求。它通过为模型组件提供简单且可扩展的接口和抽象,以及使用PyTorch通过优化的Caffe2执行引擎导出模型进行推理的功能来实现这一点。我们在Facebook中使用PyText快速迭代新的建模思路,然后大规模无缝地发布它们。

1、核心PyText功能:

二、安装PyText

PyText需要Python 3.6.1或更高版本。

要在云VM上使用,请查看指南

建议使用virtualenv

$ python3 -m venv pytext_venv
$ source pytext_venv/bin/activate
(pytext_venv) $ pip install pytext-nlp

详细说明和更多安装选项可在我们的文档中找到。如果在安装过程中遇到缺少依赖项的问题,请参阅操作系统依赖项

三、训练你的第一个文本分类器

对于第一个例子,我们将使用tests/data/train_data_tiny.tsv训练一个基于CNN的文本分类器。可以通过克隆或从GitHub手动下载文件来获取数据和配置文件。

(venv) $ pytext train < demo/configs/docnn.json

默认情况下,模型是在/tmp/model.pt中创建的

现在您可以将模型导出为caffe2 net

(venv) $ pytext export < demo/configs/docnn.json

您可以使用导出的caffe2模型来预测原始话语的类,如下所示:

(venv) $ pytext --config-file demo/configs/docnn.json predict <<< '{"raw_text": "create an alarm for 1:30 pm"}'

更多示例和教程可以在完整文档中找到。

四、加入社区

Facebook群组:https://www.facebook.com/groups/pytext/


项目地址:facebookresearch/pytext


原创文章,转载请注明 :pytext - Facebook AI开源的基于PyTorch的自然语言建模NLP框架 - pytorch中文网
原文出处: https://ptorch.com/news/237.html
问题交流群 :168117787
提交评论
要回复文章请先登录注册
用户评论
  • 没有评论
Pytorch是什么?关于Pytorch! pkuseg - 北大开源高准确率中文分词工具包(可自定义训练模型)