“图像”Stable Diffusion读你大脑信号就能重现图像，研究还被CVPR接收了

今天，很高兴为大家分享来自机器之心Pro的Stable Diffusion读你大脑信号就能重现图像，研究还被CVPR接收了，如果您对Stable Diffusion读你大脑信号就能重现图像，研究还被CVPR接收了感兴趣，请往下看。

大脑活动到图像，Stable Diffusion 能重建。

如果人工智能可以解读你的想象，将你脑海中的图像变成现实，那会怎样？

虽然这听起来有点赛博朋克。但最近发表的一篇论文，让 AI 圈吵翻了天。

这篇论文发现，他们使用最近非常火的 Stable Diffusion，就能重建大脑活动中的高分辨率、高精准图像。作者写道，与之前的研究不同，他们不需要训练或微调人工智能模型来创建这些图像。

他们是怎么做到的呢？

在此研究中，作者基于 Stable Diffusion 来重建通过功能磁共振成像 (fMRI) 而获得的人脑活动图像。作者也表示，通过研究与大脑相关功能的不同组成部分（例如图像 Z 的潜在向量等），也有助于了解隐扩散模型的机制。 

这篇论文也已经被 CVPR 2023 接收。

该研究的主要贡献包括：

方法概览

该研究的总体方法如下图 2 所示。图 2（上）是该研究中使用的 LDM 示意图，其中，ε 表示图像编码器，D 表示图像解码器，τ 表示文本编码器（CLIP）。 

图 2（中）是该研究的解码分析示意图。研究者分别从早期（蓝色）和高级（黄色）视觉皮层内的 fMRI 信号中解码了呈现图像 (z) 和相关文本 c 的潜在表征。这些潜在表征被用作生成重建图像 X_zc 的输入。 

图 2（下）是该研究的编码分析示意图。研究者构建了编码模型来预测来自 LDM 不同组成部分的 fMRI 信号，包括 z、c 和 z_c。

有关 Stable Diffusion 这里就不做过多介绍，相信很多人都比较了解。

结果

我们来看一下该研究的视觉重建结果。

解码

下图 3 展示了一个主体（subj01）的视觉重建结果。研究者为每个测试图像生成了五个图像，并选择了具有最高 PSM 的图像。一方面，只用 z 重建的图像在视觉上与原始图像一致，但未能抓住其语义内容。另一方面，只用 c 重建的图像生成的图像具有很高的语义保真度，但在视觉上却不一致。最后，使用 z_c 重建的图像可以生成具有高语义保真度的高分辨率图像。

编码模型

图 6 显示了编码模型对与 LDM 相关的三种潜像的预测精度：z，原始图像的潜像；c，图像文本注释的潜像；以及 z_c，经过与 c 交叉注意力反向扩散过程后的 z 的加噪潜像表征。

图 7 显示，当加入少量的噪声时，z 对整个皮层的体素活动的预测比 z_c 更好。有趣的是，当增加噪声水平时，z_c 对高位视觉皮层内体素活动的预测优于 z，表明图像的语义内容逐渐被强调。

在迭代去噪过程中，添加噪声的潜在表征如何变化？图 8 显示，在去噪过程的早期阶段，z 信号主导了 fMRI 信号的预测。在去噪过程的中间阶段，z_c 对高位视觉皮层内活动的预测比 z 好得多，表明大部分语义内容在这个阶段出现了。结果显示了 LDM 如何从噪声中提炼和生成图像。

最后，研究者探讨了 U-Net 的每一层都在处理什么信息。图 9 显示了去噪过程的不同步骤（早期、中期、晚期）以及 U-Net 不同层的编码模型的结果。在去噪过程的早期阶段，U-Net 的瓶颈层（橙色）在整个皮层中产生了最高的预测性能。然而，随着去噪的进行，U-Net 的早期层（蓝色）预测早期视觉皮层内的活动，而瓶颈层则转向对更高的视觉皮层的卓越预测能力。

更多研究细节，可查看原论文。

好了，关于Stable Diffusion读你大脑信号就能重现图像，研究还被CVPR接收了就讲到这。