为什么同一种优化器，在小模型上效果很好，但当模型变宽、参数规模变大之后，训练却可能变得不稳定？我们把 AdamW、Muon 等常见优化器统一放到“矩阵算子范数下的最速下降”这个视角中重新理解。进一步地，我们也关心一个更底层的问题：矩阵算子范数，是否真的能够刻画神经网络内部更本质的几何结构，并因此解释不同优化器在宽度变化下的行为差异？我们希望从更底层的几何结构出发，解释优化器为什么会随着模型宽度变化而表现不同。在分析过程中，我们发现，传统的矩阵范数放到深层网络里并不好用，因为它们难以逐层组合，也就很难给出对网络宽度不敏感的稳定性保证。为了解决这个问题，我们提出了一类均值归一化的算子范数，并基于它构造出更适合宽模型的优化方式，例如重缩放版 AdamW、行归一化和列归一化方法。直观来说，我们是在寻找一种更合理的更新尺度，让每一层在模型不断变宽时依然能够保持训练稳定。进一步地，我们给出了一套更系统的学习率缩放规律 (在)，用来说明超参数应该如何随着模型宽度一起变化，这也让小模型到大模型之间的超参数迁移更有依据。我们的理论结果表明，Muon 的平滑性常数在最坏情况下会随着宽度增长到 $O(\sqrt{Width})$，而我们提出的行归一化方法则可以做到对宽度不敏感。基于这些分析，我们进一步提出了优化器 MOGA。在 GPT-2 和 LLaMA 的大规模预训练实验中，我们观察到 MOGA，尤其是行归一化版本，能够取得与 Muon 相当的效果，并且在大 token、低 loss 阶段表现出更高的训练效率。