您的位置:首页 >互联网 >

PyText以PyTorch为基础进行语言识别

虽然深度神经网络风靡一时,但主要框架的复杂性已成为新机器学习用户使用的障碍。已经提出了几种用于构建神经网络模型的改进和简化的高级API的建议,所有这些建议从远处看起来看起来相似但在仔细检查时显示出差异。

Keras是领先的高级神经网络API之一。它是用Python编写的,支持多个后端神经网络计算引擎。

鉴于TensorFlow项目已采用Keras作为即将推出的TensorFlow 2.0版本的高级API,Keras看起来是一个赢家,如果不一定是赢家。在本文中,我们将探讨Keras的原理和实现,着眼于理解为什么它是对低级深度学习API的改进。

即使在TensorFlow 1.12中,官方的TensorFlow入门教程也使用了TensorFlow中嵌入的高级Keras API,tf.keras。相比之下,TensorFlow Core API需要使用TensorFlow计算图,张量,操作和会话,当您刚刚开始使用TensorFlow时,其中一些很难理解。使用低级TensorFlow Core API有一些优点,主要是在调试时,但幸运的是,您可以根据需要混合使用高级和低级TensorFlow API。

Keras原则

Keras的创建是为了用户友好,模块化,易于扩展,并与Python一起使用。API是“为人类而不是机器设计的”,并且“遵循减少认知负荷的最佳实践”。

神经层,成本函数,优化器,初始化方案,激活函数和正则化方案都是独立模块,您可以将它们组合在一起以创建新模型。新模块很容易添加,作为新的类和函数。模型在Python代码中定义,而不是单独的模型配置文件。

为什么Keras?

使用Keras的最大原因源于其指导原则,主要是关于用户友好的原则。除了易于学习和简化模型构建之外,Keras还具有广泛采用的优势,支持广泛的生产部署选项,与至少五个后端引擎(TensorFlow,CNTK,Theano,MXNet和PlaidML)集成,并强烈支持多个GPU和分布式培训。此外,Keras还得到了谷歌,微软,亚马逊,苹果,Nvidia,优步等公司的支持。

Keras本身并不进行自己的低级操作,例如张量积和卷积; 它依赖于后端引擎。尽管Keras支持多个后端引擎,但其主要(和默认)后端是TensorFlow,其主要支持者是Google。Keras API打包在TensorFlow中tf.keras,如前所述,它将成为TensorFlow 2.0的主要TensorFlow API。

要更改后端,只需编辑$HOME/.keras/keras.json文件并指定其他后端名称,例如theano或CNTK。或者,您可以KERAS_BACKEND通过在shell中或使用os.environ["KERAS_BACKEND"]属性在Python代码中定义环境变量来覆盖已配置的后端。

Keras型号

该模型是Keras的核心数据结构。Keras中有两种主要的模型类型:Sequential模型,以及Model与功能API一起使用的类。

Keras顺序模型

该Sequential模型是层的线性堆栈,并且可以非常简单地描述层。以下是Keras文档中的一个示例,该文档用于model.add()在Sequential模型中定义两个密集层:

Facebook开源了PyText项目,这是一个用于自然语言处理(NLP)的机器学习库,旨在使实验项目和生产系统更容易组合在一起。

PyText是用Facebook现有的用于机器学习的PyTorch库构建的,并由公司内部使用,旨在解决如何使用神经网络(例如NLP)进行机器学习。他们在一篇文章中说,这些库通常是“在为实验优化的框架和为生产优化的框架之间进行权衡”。

为实验而构建的框架允许快速原型设计,但遭受“生产中延迟和内存使用增加”,Facebook的工程师写道。另一方面,为生产而构建的框架在负载下工作得更好,但更难以快速开发。

PyText的主要区别在于其工作流程,Facebook声称可以针对实验或生产使用进行优化。可以将框架的组件拼接在一起以创建整个NLP管道,或者可以在其他上下文中分解和重用各个部分。

训练新模型可以分布在多个节点上,并且可以同时训练多个模型。PyText还可以使用许多现有模型进行文本分类,完全不需要在这些情况下进行培训。

PyText还通过上下文模型提高了理解能力,这是一种丰富模型对以前输入文本的理解的方法。例如,聊天机器人可以在讨论中重用早期消息中的信息来塑造其答案。

PyText中的一个功能显示了由Python驱动的机器学习系统如何找到避免语言可能出现的性能问题的方法。PyText模型可以以优化的ONNX格式导出,以便使用Caffe2进行快速推理。这样,推理过程不受Python运行时的限制,但Python仍然用于组装管道和编排模型训练。

PyTorch本身最近获得了正式的1.0版本,其自身的功能部分旨在加速训练和推理,而不受Python的限制。其中之一,Torch Script,及时编译Python代码以加速其执行,但它只能用于语言的一个子集。

PyText的近期计划包括“支持多语言建模和其他建模功能,使模型更易于调试,并为分布式培训添加进一步优化”,Facebook的工程师说。

上面代码中的注释值得一读。还有一点值得注意的是,与低级TensorFlow API相比,实际代码中有多少。每个层定义需要一行代码,编译(学习过程定义)需要一行代码,拟合(训练),评估(计算损失和度量),以及预测训练模型的输出每行需要一行代码。

Keras功能API

Keras Sequential模型很简单,但在模型拓扑中受到限制。所述Keras功能API是用于与共享层创建复杂的模型,如多输入/多输出模式,有向非循环图(DAG),和模型是有用的。

功能API使用与Sequential模型相同的层,但在将它们组合在一起时提供了更大的灵活性。在功能API中,首先定义图层,然后创建模型,编译它,然后拟合(训练)它。评估和预测与Sequential模型基本相同,因此在下面的示例代码中已省略。

在前面的例子中,我们只使用了Dense图层。Keras有多种预定义的图层类型,还支持编写自己的图层。

核心层包括Dense(点积加偏差),Activation(传递函数或神经元形状),Dropout(在每次训练更新时随机将输入单位的一部分设置为0以避免过度拟合),Lambda(将任意表达式包装为Layer对象),以及其他几个。卷积层(使用滤波器创建要素图)从1D到3D运行,包括最常见的变体,例如每个维度的裁剪和转置卷积层。2D卷积受到视觉皮层功能的启发,通常用于图像识别。

池(缩减)层从1D到3D运行并包括最常见的变体,例如最大和平均池。局部连接的层就像卷积层一样,除了权重是非共享的。循环层包括简单(完全连接的重复),门控,LSTM等; 这些对于语言处理以及其他应用程序非常有用。噪声层有助于避免过度拟合。

Keras通过keras.datasets课程提供了七个常见的深度学习样本数据集。这包括cifar10和cifar100小彩色图像,IMDB电影评论,路透社新闻专题,MNIST手写数字,MNIST时尚图片和波士顿房价。

Keras还提供十种着名的模型,称为Keras应用程序,预先针对ImageNet:Xception,VGG16,VGG19,ResNet50,InceptionV3,InceptionResNetV2,MobileNet,DenseNet,NASNet,MobileNetV2TK。您可以使用它们来预测图像的分类,从中提取特征,以及在不同的类集上微调模型。

顺便说一句,微调现有模型是加速培训的好方法。例如,您可以根据需要添加图层,冻结基础图层以训练新图层,然后解冻一些基础图层以微调培训。您可以通过设置冻结图层layer.trainable = False。

该Keras实例库包含超过40个样本模型。它们涵盖了视觉模型,文本和序列以及生成模型。

相关推荐

猜你喜欢

特别关注