愿深度监督网络Xie Saining的集合因其手稿而被拒绝
栏目:企业动态 发布时间:2025-05-08 10:48
十年前的神经(当时称为nips)拒绝了西·塞恩(Xie Saining)的论文,今年才收到aistats 20...
十年前,Xie被拒绝的论文被神经(当时称为NIP)拒绝了,仅在今年仅获得了AISTATS 2025 TIME检查奖。本文是“深度监督网”(DSN,深层管理的网络),于2014年9月在ARXIV发起。其建议的中间层管理的想法是由Xie Shengning的Repa(代表性对齐)和U-REPA(U-NET代表平衡)的后续作品继承和开发的,该概念显示了单个模型的交流模型的进化,该模型的变化是最佳的转化。在过去的两年中,最后两年对深度研究和扩散模型的发展产生了深远的影响。 “恭喜!” “我应得的!”在Aistats的推文下,该行业的领导人聚集在一起,并有一个问候的声音。在模拟中,本文被Aistats接受。但是,在Xie Shengning的转发中,我们知道内部的另一个故事 - 本文最初提交给NE乌里普。尽管他的得分高8/8/7,但领先的俱乐部仍然拒绝了他。他说:那个牧场等待着我的心,打扰了我...十一年前,我在8/8/7获得了很高的分数,但拒绝添加背景信息 - “深度监督的网”是Xie Shengning在博士学位期间提交的第一篇论文。他是共同撰写的作品之一,另一个共同创作的作品是Google Research的现任科学家Chen-Yu Lee。相应的项目是Marl Award的获奖者Tsinghua校友,以及UCSD计算机科学与工程学系教授Tu Zhuowen。他还是Xie Shengning和Chen-Yu Lee的Docr的主管。本文建议采用DSN(深度监督网络)程序,旨在解决研究和改善分类性能的隐藏层特征的问题。当时,深入研究开始在图像分类和语音识别领域再次有效发展。但是,它仍然面临许多问题,例如透明度降低和隐藏层特征的歧视,梯度或爆炸的丧失,对算法行为的缺乏数学理解,依靠大量培训数据以及在培训期间进行的训练期间的分类训练,以高歧视特征训练。通过在各种隐藏的网络层中使用Feedback质量功能,它直接影响重量更新,使网络能够更快地学习良好功能,减轻梯度问题,并且不会影响网络的整体性能。因此,团队提出DSN通过中间层管理机制解决三个主要的CNN疾病点(传统的卷积神经网络):缺失梯度并添加辅助类别(沿着“”目标),以通过一层向后逐层增强梯度信号。稳定性具有直接参与的中间层力e最终分类任务创造了更多歧视的表面特征(例如,在Alexnet上,第3层功能的特征的精度增加了18%)。训练效率的实验证明,在CIFAR-10数据集中,DSN在Resnet-50训练速度中加速了30%的精度,并且TOP-1的精度增加了2.1%。直到今天,这种成功已成为计算机视野领域的经典方法,也是第一个管理的研究框架,在生成AI领域产生了跨代影响。与本文一样,Google Scholar已被提及超过3,000次。那么,为什么神经当时不接受这篇论文呢?审查员可能认为这项工作是改进的增加,而不是传统CNN的令人不安的变化,而神经术则更多地关注理论突破或新建筑。简而言之,尽管审稿人给了本文以8/8/7的高分,但he却无情地拒绝了。帕蒂不仅仅是“再次测试”。今天,最初收到DSN的Aistats已将该奖项授予了一个项目检查时间来赞美它。众所周知,计算机会议的计时奖奖通常需要10年前发表,而高引文是主要的门槛。更重要的是,获奖时间测试奖项项目应由同龄人评估为开创性工作,理论上的变化或应用程序价值,并成为随后研究的主要范式。受GAN胶质模型的启发,Seq2Seq促进了机器翻译的开发。在这一点上,Xie写信给推文:“也许我现在可以放手。” (我希望他从现在开始真正发布〜)当然,纳格西也是“我不会将学术会议与更大的乐曲进行比较,但毅力可以带来出色的学术职业帮助。” Xie Sai告诉所有学生:“学生:如果您认为您在看到纸质评论的最新成绩并为下一个货币做准备后不愿意LE,我希望这个(DSN获得了时间检查奖)可以给您一点提醒并继续前进。在我自己成为一名教授之后,我会在舞台上自由地讲话。首先(2015年出版。令人难以置信的 - 看到持续的相关性和影响力这项工作。对于最相关的从业者来说,收到论文的另一件事是认可和荣誉。但是被拒绝的最高并不意味着该项目的完全下降。我想知道您是否还记得2013年的Word2Veciclr一词到达了Deser Lake的河岸(后来转移到Neurips并获得了它,并在2023年获得了Time检查奖),而Mamba则被ICLR 2024拒绝了吗? Xie Saining推文的评论部分也发现了更多类似的故事。 Zhejiang大学的校友周Yu,哥伦比亚大学计算机科学系副教授,留言说,他的团队的项目被任命为2019年ACL最佳纸张,当时该纸张是在首次提交时也下降了。如果拒绝良好的角色,则可能会成为“最佳角色”,并“按时间进行测试”,因为它将再次改善。 :)听完Sening的分享后,他说,还有另一个很好的例子来鼓励学生现在降低分数〜参考l墨水:[1] https://x.com/sainingxie/status/191942323231687000493 [2] h] https://x.com/sainingxie/status/status/1919022082 391671195 [3] https://scholar.google.com/citation? Manuskrip 11新年赢得了时间检查奖,DSN May -set Xie Shengning:Manuskrip拒绝学术死刑
下一篇:没有了