申请专栏作者 参展
投稿发布
您的当前位置:主页 > 机器学习 > 正文

五行代码用图提升模型表现,TensorFlow开源NSL神经结构学习框架

来源:可思数据 时间:2019-09-08
请支持本站,点击下面的广告后浏览!

今日,谷歌 TensorFlow 宣布推出神经结构学习(NSL)开源框架,它使用神经图学习方法来训练带有图和结构化数据的神经网络。

可思数据sykv.com,sykv.cn

五行代码用图提升模型表现,TensorFlow开源NSL神经结构学习框架

据谷歌 TensorFlow 博客介绍,NSL 是一个新手和高级开发人员都可以用来训练具有结构化信号神经网络的简易框架,可用于构建精确且稳健的视觉、语言理解和预测模型。

本文来自可思数据(sykv.com),转载请联系本站及注明出处

  • 项目地址:https://github.com/tensorflow/neural-structured-learning

结构化数据包含样本之间丰富的关系信息,许多机器学习任务都得益于此。例如,建模引用网络、句子语言学结构的知识图推断与推理,以及学习分子指纹,这些都需要模型来学习结构化输入,而不只是个别样本。

可思数据sykv.com,sykv.cn

这些结构可以是明确给出的(例如,作为图形),或者隐式推断的(例如,作为对抗性示例)。在训练阶段利用结构化信号可以使开发人员获得更高的模型准确度,尤其是当标记数据量相对较小时。谷歌的研究表明,使用结构化信号进行训练也可以带来更稳健的模型。 可思数据sykv.com,sykv.cn

五行代码用图提升模型表现,TensorFlow开源NSL神经结构学习框架

图网络学习的一般流程。

可思数据-AI,sykv.com人工智能,深度学习,机器学习,神经网络

使用这些技术,谷歌极大的提升了模型性能,例如学习图像语义嵌入。

可思数据sykv.com,sykv.cn

神经结构学习(NSL)是一种用于训练具有结构化信号深度神经网络的开源框架。它实现了谷歌在论文《Neural Graph Learning: Training Neural Networks Using Graphs》中介绍的神经图学习,使开发人员能够使用图训练神经网络。 可思数据sykv.com,sykv.cn

这里的图可以是多样的,例如知识图、医疗记录、基因组数据或多模式关系(例如,图像 - 文本对)。此外,NSL 还可以应用到对抗性学习,也就是说输入样本之间的结构可以是使用对抗性扰动动态构建的。

内容来自可思数据sykv.com

NSL 让 TensorFlow 用户能够轻松地结合各种结构化信号来训练神经网络,且适用于不同的学习场景:监督、半监督和无监督(表示)设置。

可思数据-数据挖掘,智慧医疗,机器视觉,机器人sykv.com

NSL 如何工作

可思数据-AI,sykv.com智能驾驶,人脸识别,区块链,大数据

在 NSL 框架中,结构化信息(如可以定义为图的数据或隐性的对抗样本),都可以被用来归一化神经网络的训练,使得模型学习精确地进行预测(通过最小化监督损失)。同时,保证从同一种结构中的所有输入保持同样的相似度(通过最小化近邻损失)。这种技术是可以泛化的,可以使用在神经网络架构上,如前向神经网络、卷积神经网络和循环神经网络等。

可思数据sykv.com,sykv.cn

五行代码用图提升模型表现,TensorFlow开源NSL神经结构学习框架

NSL 的基本架构。

可思数据-AI,sykv.com人工智能,深度学习,机器学习,神经网络

用 NSL 建立一个模型 可思数据sykv.com,sykv.cn

有了 NSL,建立一个使用结构化数据的模型就会很容易,而且非常直观。给定一个图(有具体结构)和训练样本,NSL 提供了相关的工具,用于将这些样本输入到 TFRcords 中,用于降采样操作。 可思数据-AI,sykv.com人工智能,深度学习,机器学习,神经网络

具体代码如下,可以使用相关的命令行工具将图和数据进行输入:

可思数据sykv.com

 可思数据-数据挖掘,智慧医疗,机器视觉,机器人sykv.com 
  1. python pack_nbrs.py --max_nbrs=5 \ 
  2. labeled_data.tfr \ 
  3. unlabeled_data.tfr \ 
  4. graph.tsv \ 
  5. merged_examples.tfr 

之后,NSL 提供了一些 API,可以将定制化的模型「打包起来」,将处理过的样本输入进去,使用图结构进行归一化操作。以下为具体代码: 可思数据-数据挖掘,智慧医疗,机器视觉,机器人sykv.com

 可思数据-www.sykv.cn,sykv.com 
  1. import neural_structured_learning as nsl 
  2. # Create a custom model — sequential, functional, or subclass.  
  3. base_model = tf.keras.Sequential(…) 
  4. # Wrap the custom model with graph regularization.  
  5. graph_config = nsl.configs.GraphRegConfig( 
  6.  neighbor_config=nsl.configs.GraphNeighborConfig(max_neighbors=1))  
  7. graph_model = nsl.keras.GraphRegularization(base_model, graph_config) 
  8. # Compile, train, and evaluate.  
  9. graph_model.compile(optimizer=’adam’,  
  10.  loss=tf.keras.losses.SparseCategoricalCrossentropy(), metrics=[‘accuracy’])  
  11. graph_model.fit(train_dataset, epochs=5)  
  12. graph_model.evaluate(test_dataset) 

只需要额外的 5 行代码(包括注释),NSL 就可以将一个神经模型和图信号结合起来。从数据上来说,使用图结构可以让模型在训练中使用更少的标注数据,而且不会损失太多的准确率(和原有的监督学习相比只少 10% 甚至是 1%)。

可思数据-人工智能资讯平台sykv.com

使用没有显式结构的图进行训练

可思数据-数据挖掘,智慧医疗,机器视觉,机器人sykv.com

如果没有显形结构的图、或者不是作为输入的情况下,NSL 怎么训练呢?NSL 提供了相关的工具,用于从原始数据中建立一个图。另外,NSL 提供了相关的工具,用于从隐性结构信号中「推导」出对抗样本。对抗样本用于故意诱导模型,使得训练出的模型对于小的输入扰动更为鲁棒。以下为相关代码: 可思数据-人工智能资讯平台sykv.com

 可思数据-www.sykv.cn,sykv.com 
  1. import neural_structured_learning as nsl # Create a custom model — sequential, functional, or subclass.  
  2. base_model = tf.keras.Sequential(…)# Wrap the custom model with graph regularization.  
  3. graph_config = nsl.configs.GraphRegConfig( 
  4.  neighbor_config = nsl.configs.GraphNeighborConfig(max_neighbors=1))  
  5. graph_model = nsl.keras.GraphRegularization(base_model, graph_config) # Compile, train, and evaluate.  
  6. graph_model.compile(optimizer=’adam’,  
  7.  loss=tf.keras.losses.SparseCategoricalCrossentropy(), metrics=[‘accuracy’])  
  8. graph_model.fit(train_dataset, epochs=5)  
  9. graph_model.evaluate(test_dataset) 

通过少于额外 5 行代码(包括注释),就能获得一个使用带有隐性结构对抗样本训练的神经模型。根据经验,在没有对抗性样本的情况下,当将具有恶意但人类无法检测出的扰动数据添加到输入时,模型会遭受显著的准确度损失(例如,低 30%),加入对抗样本进行训练则可以避免这样的问题。

本文来自可思数据(sykv.com),转载请联系本站及注明出处


转发量:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片

关于我们   免责声明   广告合作   版权声明   联系方式   原创投稿   网站地图  

Copyright©2005-2019 Sykv.com 可思数据 版权所有    ICP备案:京ICP备14056871号

人工智能资讯   人工智能资讯   人工智能资讯   人工智能资讯

扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭