团队成员关于神经架构搜索的研究取得新进展，相关成果发表在CVPR上

  近期，团队成员在神经架构搜索领域取得了新的研究进展，相关成果已在2024年IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR 2024）上发布。CVPR会议是人工智能领域的重要学术会议，被中国计算机学会评定为A类学术会议（CCF A）。

论文“Towards Accurate and Robust Architectures via Neural Architecture Search”已被选入CVPR 2024。其中，计算机学院2021级硕士研究生欧玉威与2022级直博冯雨麒为共同第一作者，孙亚楠教授为通讯作者。该研究提出了一种鲁棒神经架构搜索算法，能够自动设计在对抗训练下具有良好自然准确率和对抗鲁棒性的神经架构，有效缓解了现有鲁棒神经架构搜索算法设计的架构在对抗训练下性能不佳的问题。

论文概要：对抗训练是提升神经网络模型对抗鲁棒性的常用方法之一，同时神经网络模型架构设计的好坏是影响对抗训练效果的重要因素。然而，传统的手工设计方法极度依赖相关领域的专家经验，效率较低。为了解决这一问题，当前研究提出了多种鲁棒神经架构搜索（Neural Architecture Search, NAS）方法，在传统NAS方法的搜索空间中，以线性加权求和的方式将自然准确率、对抗鲁棒性两个目标转化为单目标优化问题，从而自动设计在对抗训练下具有良好自然准确率和对抗鲁棒性的神经架构。然而，传统的搜索空间是为常规训练设计的，且适合对抗训练与常规训练的架构具有较大不同，因此上述方法使用的搜索空间限制了架构在对抗训练下的性能；此外，线性加权求和的方法依赖专家经验进行权重系数的选择，增加了对相关领域经验的依赖。针对上述问题，本文设计了兼顾自然准确率和对抗鲁棒性的搜索空间（如图1所示），通过在传统搜索空间中加入鲁棒单元（Robust Cell），使搜索空间中的架构在对抗训练下具有更好的性能。同时，本文提出基于多梯度下降算法的可微多目标搜索策略，解决了现有线性加权求和方法依赖相关领域经验的问题。

图1 本文设计的搜索空间与架构示例

实验结论：本文在三个标准数据集上与目前最先进的鲁棒NAS方法进行了对比，部分实验结果如表1所示，结果表明所提方法的效果优于其他对比模型。此外，本文设计了消融实验，部分实验结果如图2和表2所示，结果证明了所提搜索空间与搜索策略的有效性。

表1 与目前最先进的鲁棒NAS方法对比结果

图2 针对所提搜索空间的消融实验结果

表2 针对所提搜索策略的消融实验结果

学生作者简介：

欧玉威，四川大学计算机学院2021级硕士研究生，研究方向为鲁棒神经网络与神经架构搜索。

冯雨麒，四川大学计算机学院2022级博士研究生，研究方向为神经架构搜索与对抗攻击。