[CV]《Dextr: Zero-Shot Neural Architecture Search with Singular Value Decomposition and Extrinsic Curvature》R Asthana, J Conrad, M Ortmanns, V Belagiannis [Friedrich-Alexander-Universität Erlangen-Nürnberg & Universität Ulm] (2025)
探索零样本神经架构搜索的新高度:Dextr 通过奇异值分解与外曲率同时捕捉收敛性、泛化性与表达力,无需标签数据即可精准预测网络性能。
• 创新理论:证明卷积层特征图的多重共线性显著影响网络收敛速度与泛化能力,基于奇异值分解量化这一关系。
• 融合表达力:采用黎曼几何中的外曲率度量网络输出复杂度,反映模型表达能力,突破传统零样本代理仅关注单一性能维度的局限。
• 适用广泛:支持CNN与Vision Transformer架构,验证覆盖NAS-Bench-101/201/301及TransNAS-Bench-101-micro多种标准基准。
• 高效稳健:在DARTS与AutoFormer搜索空间中实现极速架构搜索(仅0.07 GPU天),在ImageNet分类任务中优于多种一/多次训练及零样本方法。
• 源码开放,促进社区复现与拓展👉 github.com/rohanasthana/Dextr
Dextr揭示了架构性能的深层结构特征与几何属性的本质联系,推动零样本NAS向更全面、实用的方向演进。
详细了解🔗arxiv.org/pdf/2508.12977
神经架构搜索零样本学习深度学习奇异值分解机器学习理论视觉变换器