|
以下是2022年12月19日-12月25日来自Complexity Express的复杂性科学论文精选。如果Complexity Express列表中有你感兴趣的论文，欢迎点赞推荐，我们会优先组织解读~
论文题目：Ab initio calculation of real solids via neural network ansatz 论文来源：Nature Communications 论文链接： 近年来，神经网络被应用于解决小分子和物理模型的多体电子关联问题。在这里，我们提出了一个架构，通过加入周期性边界条件扩展了分子神经网络 （molecular neural network） ，以实现对真实固体的从头计算 （ab initio calculation） 。该方法的准确性在四种不同类型的系统中得到证明，即一维周期性氢链、二维石墨烯、三维氢化锂晶体和均匀电子气，所获得的结果，如总能量、电离曲线和内聚能，达到了与许多传统从头方法相当的水平。此外，典型系统的电子密度也被计算出来，以提供关于各种固体的物理直觉。我们将分子神经网络扩展到周期性体系的方法可以很容易地集成到其他神经网络结构中，突出了使用神经网络方法解决更复杂的固体体系的未来前景，以及更普遍地认可了机器学习在材料模拟和凝聚态物理中的应用。 图：电子坐标ri被传递到两个通道。在第一个通道中，它们利用周期性度量矩阵M和晶格向量a构建周期性距离特征d(r)，然后d(r)特征被输入两个分子神经网络，分别代表波函数的实部和虚部。在第二个通道中，ri在一组选定的晶体动量向量上构建平面波相位因子。
论文题目：Fractal Fluctuations at Mixed-Order Transitions in Interdependent Networks 论文来源：Physical Review Letters 论文链接： 我们研究了随机相互依赖空间网络中混合阶相变阈值附近，序参数涨落的临界特征。值得注意的是，我们发现尽管序参数的结构并非尺度不变的，但它的涨落是分形的，直到一个定义明确的关联长度ξ′，在接近混合阶相变阈值时发散。我们通过有效分形维度d′f=3d/4和关联长度指数ν′=2/d，来描述这些临界涨落的自相似特性，其中d是系统的维度。通过分析渗流和磁化，我们证明d′f和ν′对这两种系统是一样的，也就是说，对于底层网络的任何d，与过程的对称性无关。 图：混合阶相变的涨落。(a) 随机相互依赖的d维网络模型(这里d=2)的插图，其特点是短程连接环节(灰色环节)和长程依赖环节(橙色耦合)。(b) 混合相变的每一个实现[见(c)的边界区域特写]都有自己的临界阈值ac和临界质量Oc≡O(ac)——通过缩放律[9] O(a)∼Oc+a-ac1/2相互关联，它们的分布遵循某种轮廓，如(d)中P(ac)和(e)中P(Oc)所示。(f) 说明临界质量的涨落值，其平均值⟨Oc⟩，以及它们的统计变化σ2(Oc)。
论文题目：Heterogeneous stochastic bifurcations explain intrinsic oscillatory patterns in entorhinal cortical stellate cells 论文来源：PNAS 论文链接： 内嗅皮层的星状细胞 （SC） 表现出内在的膜电位振荡模式。虽然已经提出了不同的理论框架来解释这些模式，但还缺少一个强有力的统一框架来共同解释内在的异质性和随机性。在此，我们首先对大鼠SCs进行了体外膜片钳电生理记录，发现其特征生理特性有明显的细胞间差异，包括阈值周围振荡模式。我们证明，引入异质生物物理模型的两个独立神经元群体 （被赋予确定性或随机性的离子通道门控动力学） 的噪声产生的活动模式，与SCs的电生理阈值周围振荡活动有质的相似。我们开发了基于频谱的定量指标用于识别有效的振荡，并证实这些指标可靠地捕获了电生理记录中观察到的可变振幅和节律性振荡模式。利用这些定量指标，我们验证了来自SC模型两个异质群体的活动模式，每个模型都在不同的膜去极化下用不同水平的噪声进行多次试验评估。我们的分析揭示了SC模型两个异质群体中的随机共振的表现 （在最佳的噪声水平下检测出最高数量的有效振荡痕迹） 。最后，我们表明，一个由缓慢的负反馈环路和快速的正反馈环路组成的广义网络模体，在振荡的出现中表现出随机分叉和随机共振。总之，通过退化和随机共振框架的独特融合，我们以异质随机分叉为中心的统一框架论证了SC振荡的状态相关的涌现。 图：使用全细胞膜片钳电生理学记录的大鼠MEC SCs的特征性阈下和阈上测量的异质性。(A）细胞对不同去极化脉冲电流注入（Iinj）的电压反应中的阈周膜电位活动实例。注意，当发生尖峰时（蓝色星号），它们被截断到-35 mV 以强调阈下动态。(B)在水浴中使用（红色）或不使用（黑色）突触受体阻断剂记录的SC群体的15个特征电生理测量的异质性。静息膜电位，VRMP；输入电阻，Rin；时相加比，Sα；Sag比，Sag；共振频率，fR；共振强度，QR；总感应面积，ΦL；AP半宽，TAPHW；AP最大斜率，dVdt∣maxAP；AP阈值，Vth；AP振幅，VAP；尖峰频率适应，SFA；第一个AP的延迟，T1AP。除Sag（P=0.0341，Wilcoxon秩和检验）外，其他测量结果在有突触阻断剂组与无突触阻断剂组之间均无明显差异。
论文题目：Discovering and forecasting extreme events via active learning in neural operators 论文来源：Nature Computational Science 论文链接： 社会和自然界中的极端事件，例如大流行的高峰期、异常巨浪 （rouge wave） 或结构性故障，都可能带来灾难性的后果。描述极端事件是困难的，因为它们很少发生，从看似良性的条件下出现，并属于复杂的往往未知的无限维系统。这些挑战使试图描述它们的尝试变得毫无意义。我们通过将贝叶斯实验设计 （BED） 中的输出加权训练方案，与一系列深度神经算子相结合来解决这些困难。这个模型无关的框架将主动选择用于量化极端事件的数据的 BED 方案，与逼近无限维非线性算子的一组深度神经算子配对。我们表明，这个框架不仅优于高斯过程，而且(1)只有两个成员的浅集合表现最好；(2)无论初始数据的状态如何 (即有或没有极端事件) ，极端事件都会被发现；(3)我们的方法消除了“双下降” （double-descent） 现象；(4)与逐步全局最优相比，使用批次的次优采集样本不会阻碍 BED 性能；(5)蒙特卡罗采样在高维度上优于标准优化方法。总之，这些结论形成了一个可扩展的人工智能(AI)辅助的实验基础设施，可以有效地推断和确定从物理到社会系统中诸多领域的临界状况。 图：各种极端现象的推断，从大流行尖峰（a）到异常巨浪（b）。我们的框架确定了最危险(即可能和极端)的大流行情景(左)和发现异常巨浪(右)。
论文题目：Large-scale chemical language representations capture molecular structure and properties 论文来源：Nature Machine Intelligence 论文链接： 基于机器学习的模型可以实现准确和快速的分子特性预测，这在药物发现和材料设计中很有意义。各种有监督的机器学习模型已经显示出良好的性能，但巨大的化学空间和有限的属性标签使有监督的学习具有挑战性。最近，在大型无标签语料库上进行预训练的无监督的基于transformer的语言模型，在许多下游自然语言处理任务中产生了最先进的结果。受到这一发展的启发，我们提出了通过训练一个高效的transformer编码器模型MoLFormer获得的分子嵌入，该模型使用旋转位置嵌入。这个模型采用了线性注意机制，加上高度分布式的训练，对来自PubChem和ZINC数据集的11亿个未标记的分子的SMILES序列进行训练。我们表明，在10个基准数据集的几个下游任务上，学到的分子表征优于现有的基线，包括监督和自监督的图神经网络和语言模型。它们在另外两个任务上的表现具有竞争性。进一步的分析，特别是通过注意力的视角，证明在化学SMILES上训练的MoLFormer确实学习了分子内原子间的空间关系。这些结果提供了令人鼓舞的证据，表明大规模的分子语言模型可以捕获足够的化学和结构信息来预测各种不同的分子特性，包括量子化学特性。 图：MoLFormer 管道概述。基于transformer的神经网络模型是在PubChem和ZINC这两个公共化学数据库中大量化学分子对应的SMILES序列上以自我监督的方式训练的。MoLFormer设计了一个高效的线性注意机制和相对位置嵌入，目的是学习一个有意义的和压缩的化学分子的表示。然后，通过对特定任务数据的微调，这个基础模型被改编为不同的下游分子特性预测任务。通过使用MoLFormer编码恢复分子的相似性，以及分析一个给定分子的原子间空间距离和注意力值之间的对应关系，进一步测试了其代表性。
论文题目：Synaptic basis of a sub-second representation of time in a neural circuit model 论文来源：Nature Communications 论文链接： 神经活动的时间序列对于驱动适时的行为至关重要，但底层的细胞和电路机制仍然难以捉摸。我们利用小脑的明确结构，一个已知支持时间上精确行动的大脑区域，从理论上探索实验观察到的输入层的短期突触可塑性 （STP） 的多样性，是否能产生足以进行亚秒级时间学习的神经动力学。一个配备了动态突触的小脑回路模型产生了一组多样化的瞬态颗粒细胞发射模式，为在模拟延迟眼睑调节和贝叶斯区间估计过程中学习 Purkinje 细胞活动的精确时间停顿提供了时间基础集。跨时间间隔的学习性能受到时间基础的时间带宽的影响，这是由输入层的突触特性决定的。STP在整个大脑中的普遍性使其成为一种普遍的、可调整的细胞机制，用于雕刻神经动力学和微调行为。 图：在眼睑调节过程中模拟 Purkinje 细胞停顿。(a) 眼睑条件反射的方案。CS：条件刺激（红色）。US：无条件的刺激（紫色）。在多次试验中以固定的时间间隔经历了CS和US的配对后，动物学会了在US发出前关闭眼皮（绿色）。在眼睑闭合之前，PC活动出现暂停（蓝色）（目标时间，灰色虚线）。顶部：根据突触类型（MF组）分类的100个MF的发射率图。中频点火率用颜色编码，并根据图(b)所示的分布情况绘制。底部：每个突触组的两个中频率样本。(c) GC对CS的反应模型。顶部：1000个GCs根据CS发生后的平均发射率进行排序。发射率是用颜色编码的。底部：稳态减去和单独归一化的GC瞬态反应。(d) GC活动衰减时间到瞬态峰值10%的分布图。虚线代表监督学习过程中使用的目标时间。如果没有STP诱导的GC瞬态，就不能学习PC暂停（粉色线）。(f) 每个目标时间的4000次学习试验后的模拟PC反应（彩色虚线.基于监督transformer蛋白
近年来，蛋白质结构预测方面取得了重大进展。然而，对于 AlphaFold2 和其他基于深度学习的方法来说，根据单序列输入来预测蛋白质结构仍然具有挑战性。这里我们介绍 trRosettaX-Single，一个用于单序列蛋白质结构预测的自动算法。它将来自监督 transformer 蛋白质语言模型的序列嵌入整合到一个多尺度网络中，通过知识提炼增强以预测残基间的二维几何结构，然后通过能量最小化从二维几何结构来重建三维结构。 图：trRosettaX-Single 的架构和性能。(a) trRosettaX-Single 的概述。s-ESM-1b 是一个有监督的转化蛋白质语言模型，其初始参数来自ESM-1b，s-ESM-1b 从单一序列中生成单一表征和注意图。单一表征连同氨基酸类型的单次编码通过外积操作被转换成二维特征图。这些二维特征图与注意力图合并，然后送入 Res2Net_Single，一个知识提炼的多尺度神经网络，以预测残基间的几何结构。最后，通过能量最小化，从预测的二维几何结构中生成三维结构模型。（b）与基于MSA的方法在预测残基间距离的精度方面的比较。b和c中的图表是用n=80的蛋白质绘制的（Orphan25为25，Design55为55）。每个方框中的中心线、下线和上线分别表示中位数、第一四分位数和第三四分位数。每个方框内的白洞指的是平均值。所有的预测都是在没有任何结构同源的情况下进行的。
Complex World, Simple Rules. 复杂世界，简单规则。由于学科交叉融合，大量针对复杂系统的研究成果散落在人工智能、统计物理、网络科学、数据科学、计算社会科学、生命科学、认知科学等等不同领域的期刊会议中，缺乏整合。 为了让大家能及时把握复杂系统领域重要的研究进展，我们隆重推出「Complexity Express」服务，汇总复杂系统相关的最新顶刊论文。 Complexity Express 每天爬取复杂系统领域最新发表的顶刊论文，每周通过“我的集智”服务号汇总推送。 Complexity Express 栏目也是集智俱乐部公众号的主要选题来源，诚挚邀请你订阅，与我们信息同步。 由于复杂性研究领域横跨多个学科，研究论文散落在不同的期刊上，很难不重不漏地把握最新工作。针对复杂性领域的论文筛选，我们专门设计了算法。经过数月的训练迭代优化，目前对上述领域爬取准确率达到90%以上。 |
