重庆产品推广类网站,外包公司怎么找业务,cmseasy去版权,什么网站可以做pie chart来源#xff1a;学术头条本文经授权转载自机器之心#xff08;almosthuman2014#xff09;OpenAI 的研究者们在人工神经网络 CLIP 上发现了「真」神经元#xff0c;这种机制解释了 AI 模型对令人惊讶的视觉呈现进行分类时#xff0c;为何拥有如此的准确性。研究人员表示学术头条本文经授权转载自机器之心almosthuman2014OpenAI 的研究者们在人工神经网络 CLIP 上发现了「真」神经元这种机制解释了 AI 模型对令人惊讶的视觉呈现进行分类时为何拥有如此的准确性。研究人员表示这是一项重要发现可能对计算机大脑乃至人类大脑的研究产生重大影响。这或许意味着通用人工智能距离我们并没有想象的那么远。但理解了抽象概念的神经元却也会做出一些令人啼笑皆非的理解。15 年前Quiroga 等人发现人脑中包含多模态神经元。这些神经元能够对围绕常见高级主题的抽象概念簇产生反应而不是任意特定的视觉特征。其中最著名的神经元当属 Halle Berry 神经元它能够对美国女演员「哈莉·贝瑞」的照片、图像和文本产生反应。今年 1 月初OpenAI 提出了一种通用视觉系统 CLIP其性能媲美 ResNet-50并在一些有挑战性的数据集上超过现有的视觉系统。给出一组以语言形式表述的类别CLIP 能够立即将一张图像与其中某个类别进行匹配而且它不像标准神经网络那样需要针对这些类别的特定数据进行微调。最近OpenAI 又有了一个惊人发现CLIP 模型中出现了多模态神经元这类神经元能够对以文本、符号或概念形式呈现的相同概念作出反应。例如「Spider-Man」神经元类似 Halle Berry 神经元能够对蜘蛛图像、文本「spider」的图像和漫画人物「蜘蛛侠」做出响应。在 CLIP 模型中发现的神经元具备与人脑中 Halle Berry 神经元类似的功能相比之前的人工神经元有所进步。这一发现为合成视觉系统与自然视觉系统中的普遍机制——抽象提供了线索。研究人员发现 CLIP 的最高层将图像组织为 idea 的松散语义集合从而为模型的通用性和表示的紧凑性提供了简单解释。OpenAI 表示这一发现或许可以解释 CLIP 模型的分类准确率也是理解大型语言模型在训练过程中学习到的关联和偏见的重要一步。那么CLIP 中的多模态神经元到底是什么样子呢OpenAI 研究人员利用可解释性工具进行了探究发现 CLIP 权重内的高级概念包含很多人类视觉词汇如地区、面部表情、宗教图像、名人等。通过对神经元影响力的探究我们可以更加了解 CLIP 如何执行分类。CLIP 中的多模态神经元OpanAI 的论文《Multimodal Neurons in Artificial Neural Networks》建立在近十年来对卷积网络解释的研究基础上该研究首先观察到许多经典方法可以直接应用于 CLIP。OpenAI 使用两种工具来理解模型的激活分别是特征可视化通过对输入进行基于梯度的优化来最大化神经元的激活和数据集示例观察数据集中神经元最大激活图像的分布。通过这些简单的方法OpenAI 发现 CLIP RN50x4ResNet-50 利用 EfficientNet 扩展规则扩增 4 倍中的大多数神经元都可以得到解释。这些神经元似乎是「多面神经元」的极端示例它们只在更高层次的抽象上对不同用例做出响应。例如对于夏季和冬季两个不同季节文本、人脸、Logo、建筑物、室内、自然和姿态等表现出了不同的效果对于美国和印度两个不同国家文本、人脸、Logo、建筑物、室内、自然和姿态等也呈现出了不同的效果OpenAI 惊奇地发现其中很多类别似乎是利用颅内深度电极记录的癫痫患者内侧颞叶中的镜像神经元包含对情绪、动物和名人做出反应的神经元。然而OpenAI 对 CLIP 的研究发现了更多这类奇怪但绝妙的抽象包括似乎能计数的神经元、对艺术风格做出响应的神经元甚至对具有数字修改痕迹的图像做出响应的神经元。多模态神经元的构成是怎样的这些多模态神经元能够帮助我们理解 CLIP 如何执行分类。使用一个稀疏线性探针即可以很容易地查看 CLIP 的权重从而了解哪些概念结合在一起实现了 ImageNet 数据集上的最终分类。如下图所示存钱罐似乎是由一个「finance」神经元和瓷器porcelain 神经元组成的。「Spider-Man」神经元也表现为一个蜘蛛检测器并在「谷仓蜘蛛」barn spider的分类中发挥重要作用。对于文本分类OpenAI 的一个关键发现是这些概念以类似于 word2vec 目标函数的方式包含在神经元中它们几乎是线性的。因此这些概念构成了一个单代数其行为方式类似于线性探针。通过线性化注意力我们也可以像线性探针那样检查任意句子具体如下图所示错误的抽象CLIP 的抽象化程度揭示了一种新的攻击向量vector of attackOpenAI 认为这种向量并未在以往的系统中表现出来。和很多深度网络一样模型最高层上的表征完全由这类高级抽象控制。但是区分 CLIP 的关键在于程度degreeCLIP 的多模态神经元能够在文字和符号之间实现泛化而这可能是一把双刃剑。通过一系列精心设计的实验OpenAI 证明了可以利用这种还原行为来欺骗模型做出荒谬的分类。此外OpenAI 观察到CLIP 中神经元的激发通常可以借助其对文本图像的响应来控制从而为攻击该模型提供了一个简单的向量。举例而言金融神经元可以对存钱罐和货币符号串「$$$」做出响应。通过强制性地激活金融神经元我们可以欺骗 CLIP 模型将一条狗分类为存钱罐。具体如下图所示野外攻击OpenAI 将这类攻击称为「typographic attack」。研究人员穷尽 CLIP 模型鲁棒性读取文本的能力发现即使是手写文本图像也能骗过模型。如下图所示在「史密斯奶奶」青苹果表面贴上写着「iPod」的纸张系统将其错误分类为「iPod」。研究人员认为这类攻击还可能以更微妙、不明显的形式出现。CLIP 的输入图像往往用多种细微复杂的形式进行抽象这可能会对一些常见模式进行过度抽象——过度简化进而导致过度泛化。偏见和过度泛化CLIP 模型基于精心收集的网络图像进行训练但它仍然继承了许多未经检查的偏见与关联。研究人员发现 CLIP 中的许多关联是良性的但也有一些关联会带来损害如对特定个人或组织的贬损。例如「Middle East」中东神经元与恐怖主义存在关联「immigration」移民神经元对拉丁美洲有反应甚至有的神经元还对黑皮肤人群和大猩猩产生反应。这映射了早期其他模型中存在的图像标注问题而这是不可接受的。这些关联对此类强大视觉系统的应用提出了极大挑战。不管是经过微调还是使用零次学习这些偏见和关联大概率仍会存在于系统中而它们也将以可见或不可见的方式影响模型部署。我们或许很难预测很多带偏见的行为如何度量和纠正它们是非常困难的事情。OpenAI 认为这些可解释性工具可以提前发现关联和歧视进而帮助从业者规避潜在的问题。OpenAI 表示他们对 CLIP 的理解仍在继续而是否发布 CLIP 模型的大型版本尚属未知。这一研究或许会对 AI 技术甚至神经科学研究打开一条新路。「因为我们不了解神经网络运作的机制因此很难理解它们出错的原因」OpenAI 的联合创始人、首席科学家 Ilya Sutskever 说道。「我们不知道它们是否可靠或它们是否存在一些测试中未发现的漏洞。」此外OpenAI 还发布了用于理解 CLIP 模型的工具例如 OpenAI Microscope它最近更新了 CLIP RN50x4 中每个神经元的特征可视化、数据集示例和文本特征可视化。详情参见https://microscope.openai.com/models图源https://microscope.openai.com/models/contrastive_4x?models.techniquedeep_dream研究者还公布了 CLIP RN50x4 和 RN101 的权重参见 GitHub 项目https://github.com/openai/CLIP原文链接https://openai.com/blog/multimodal-neurons/https://distill.pub/2021/multimodal-neurons/未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
