又双叒来,谷歌网络嵌入函数新专利惹争议,网友:何时申请线性回归?

简介: 最近,谷歌又申请了一项深度学习算法专利,主题是「Using embedding functions with a deep network」。

微信图片_20211203224302.png


对于每个深度学习研究者来说,有些算法、方法可以说是研究必备,拿来直接用也是一种日常,但如果有人申请了专利呢?


最近,谷歌一项新的 AI 专利申请再次引燃了社区对于专利问题的讨论。

该专利的摘要描述如下:

本专利适用于在深度网络中使用嵌入函数(embedding functions)的方法、系统和设备,包括在计算机存储媒介上编码的计算机程序。其中一种方法包括接收包含多个特征的输入,其中每个特征具有不同的特征类型;使用各自的嵌入函数处理每个特征以生成一个或多个数值,其中每个嵌入函数独立地运算彼此的嵌入函数,并且每个嵌入函数用于各自特征类型的特征;使用深度网络处理数值以生成输入的第一个替代表征,其中深度网络是由多个层次的非线性运算组成的机器学习模型;使用 logistic 回归分类器处理输入的第一个替代表征,以预测输入的标签。


专利界面:https://patents.google.com/patent/US10679124B1/en

这项专利的保护范围是怎样的呢?我们来看一下申请书的「权利要求(claims)」部分:

一种由一个或多个计算机执行的方法,该方法包括:接收包括多个特征的输入,其中每个特征具有不同的特征类型; 使用第一个机器学习模型处理输入以生成输入的第一个替代表征,其中第一个机器学习模型是具有单层线性计算的线性模型; 使用深度网络处理所述输入,以生成所述输入的第二个替代表征,此处的深度神经网络是由多级非线性运算组成的第二个机器学习模型; 使用 logistic 回归分类器处理输入的第一个替代表征和第二个替代表征,以预测输入的标签。

从专利界面披露的信息来看,这项专利已于 2020 年 6 月 9 日成效,到期时间是 2035 年 2 月 5 日。专利涉及的研究者包括 Jeffrey Dean 等谷歌大牛。


微信图片_20211203224307.png


社区热议:还能怎么办?见招拆招吧


这不是谷歌第一次为算法申请专利了。


2019 年 6 月,谷歌为 Dropout 申请了专利,定义为「解决神经网络过拟合的系统和方法」,也在专利页面提到了 Dropout 技术的多位创造者:Geoffrey Hinton、Alexander Krizhevsky、Ilya Sutskever、Nitish Srivastva。


谷歌为多个 AI 算法申请专利的事情,在当时引起了广泛的讨论。Google AI 负责人 Jeff Dean 后来亲自解释说:「这些有关算法的专利是防御性质的,主要是为了防止谷歌研究人员的成果被其他机构申请专利后进行讹诈,进而引发经济损失。」

他明确表示,谷歌不会使用人工智能算法的专利来攻击别的公司。谷歌也不会用这部分专利来获利。


此前,微软也曾经申请了「在 GPU 上训练卷积神经网络」的专利,专利权受让人也是微软自己。


种种操作,对于身经百战的网友来说,也算不上新鲜事了。唯一的希望是这些科技巨头不要「又当又立」。


微信图片_20211203224310.png

有人说:「线性回归专利考虑一下?


也有人开这些巨头的玩笑:「谷歌或许尝试过加减号的专利申请。」


微信图片_20211203224313.png


「如果我没记错,Microsoft 正在申请双击的专利。


微信图片_20211203224317.png

「如果自从人类诞生那天开始,金钱和科学从未纠缠在一起,那我们将达到的技术发展程度要比现在高得多。我的意思是,如果科学进展始终是开源的并且不涉及授权费用,这个社区将走得更远。」


但也有人指出:「要是金钱和科学从不挂钩,那我们现在就不会拥有科学。」


微信图片_20211203224321.png

有人表示:「我反对算法、机器学习等领域的专利,就像是为微积分或者方程式申请专利一样,这是一种野蛮且自私的举动,尤其是在这些科技巨头这样做的时候。科学和数学的专利阻碍了人类文明的发展。」


没错,专利制度的初衷是通过经济学手段来促进创新,防止创意被其他公司窃取或复制。但当下的趋势却是,一些巨型公司会垄断专利,并滥用专利制度所赋予它的权利。总体来说,专利制度是好的,但专利的管理方式却不太理想,比如「算法该不该申请专利」一直是个争议不断的话题。


目前这个问题还没有结论,但正事不能耽误,如果自己的研究恰好使用了这一算法,怎么办呢?


有人指出了这个专利的空隙:


微信图片_20211203224325.png

「如果我的阅读理解能力没问题的话,可以通过在网络的两个不同输入中使用相同的嵌入向量,这些输入可以是伪固定常数,因此可规避这项专利的影响。


参考链接:https://www.reddit.com/r/MachineLearning/comments/hd1qjm/r_google_patent_using_embedding_functions_with_a/


自 4 月份开始,机器之心 CVPR 2020 线上论文系列分享已经进行到了第八期。最新一期的分享,我们邀请到今年CVPR最佳学生论文第一作者、西蒙弗雷泽大学 (SFU) 博士一年级学生陈之钦为我们来做分享。


微信图片_20211203224329.jpg


相关文章
用MASM32按Time Protocol(RFC868)协议编写网络对时程序中的一些有用的函数代码
用MASM32按Time Protocol(RFC868)协议编写网络对时程序中的一些有用的函数代码
|
30天前
|
机器学习/深度学习 编解码
深度学习笔记(三):神经网络之九种激活函数Sigmoid、tanh、ReLU、ReLU6、Leaky Relu、ELU、Swish、Mish、Softmax详解
本文介绍了九种常用的神经网络激活函数:Sigmoid、tanh、ReLU、ReLU6、Leaky ReLU、ELU、Swish、Mish和Softmax,包括它们的定义、图像、优缺点以及在深度学习中的应用和代码实现。
109 0
深度学习笔记(三):神经网络之九种激活函数Sigmoid、tanh、ReLU、ReLU6、Leaky Relu、ELU、Swish、Mish、Softmax详解
|
1月前
|
机器学习/深度学习 数据可视化 算法
激活函数与神经网络------带你迅速了解sigmoid,tanh,ReLU等激活函数!!!
激活函数与神经网络------带你迅速了解sigmoid,tanh,ReLU等激活函数!!!
|
3月前
|
机器学习/深度学习 算法
神经网络中激活函数的重要性
【8月更文挑战第23天】
26 0
|
3月前
|
监控
【网络编程】poll函数
【网络编程】poll函数
27 0
|
3月前
|
监控
【网络编程】select函数
【网络编程】select函数
57 0
|
3月前
|
机器学习/深度学习 Shell 计算机视觉
一文搞懂 卷积神经网络 卷积算子应用举例 池化 激活函数
这篇文章通过案例详细解释了卷积神经网络中的卷积算子应用、池化操作和激活函数,包括如何使用卷积算子进行边缘检测和图像模糊,以及ReLU激活函数如何解决梯度消失问题。
|
4月前
|
机器学习/深度学习
神经网络可能不再需要激活函数?Layer Normalization也具有非线性表达!
【7月更文挑战第14天】研究表明,层归一化(LayerNorm)可能具备非线性表达能力,挑战了神经网络对激活函数的依赖。在LN-Net结构中,仅使用线性层与LayerNorm就能实现复杂分类,其VC维度下界证明了非线性表达。尽管如此,是否能完全替代激活函数及如何有效利用这一特性仍需更多研究。[arXiv:2406.01255]
56 5
|
4月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于负相关误差函数的4集成BP神经网络matlab建模与仿真
**算法预览:** 图像显示无水印的2022a版MATLAB运行结果 **软件版本:** MATLAB 2022a **核心代码片段:** 省略展示 **理论概述:** NCL集成BP网络利用负相关提升泛化,结合多个弱模型减少错误关联。通过λ参数控制模型间负相关程度,λ>0增强集成效果,提高预测准确性和系统稳健性。
|
4月前
|
存储 Java Unix
(八)Java网络编程之IO模型篇-内核Select、Poll、Epoll多路复用函数源码深度历险!
select/poll、epoll这些词汇相信诸位都不陌生,因为在Redis/Nginx/Netty等一些高性能技术栈的底层原理中,大家应该都见过它们的身影,接下来重点讲解这块内容。
下一篇
无影云桌面