一晃眼，2020年已经过去半年。距离NeurIPS投完稿也快结束一个月了。这次NeurIPS的投稿有好几篇挺不错的，之后有空会分别介绍。
今年是个神奇的年份，事件太多，多到没空盘点。一月初我们还在夏威夷度假，住乡村旅馆，开车上活火山，辨认星座，了解咖啡豆如何变成咖啡，现在闷在家里，哪儿都去不了。再回顾半年前写的新年贺词，有一种恍若隔世之感，好像那些美好的祝福，是在两三年前写的一般。半年前，我评论道，在十年的尺度上“人类十分渺小”，现在觉得半年前的自己竟敢点评“人类的渺小”，该不会是吃了豹子胆了罢。
当历史的车轮轰然转向的时候，每个人都是一粒尘埃。做好自己，已是不易了。疫情之下，新的常态已经来了，能做的就是赶快适应它。
在家工作三个多月以来，总的来说效率其实变得更高了。能集中精力的时间变多，也不用每天来回穿插去寻找下一个会议室。集中精力是非常重要的，它能创造奇迹，每天放松刷手机看新闻的时间，其实多到让人瞠目结舌。把手机锁在柜子或者丢在厕所，吃饭时才拿出来看一眼，每天就能多两小时——或许不止。
我把这篇博客起成这个名字，是为了庆祝一下这篇绵延多年的理论文章终于中了稿。虽然只是一篇小小的论文，但说出来不怕被人笑话，分析多层非线性神经网络的这个思路，我从OpenGo之后的18年年底就开始做了，一开始是被ICLR19拒掉 (https://arxiv.org/abs/1809.10829)，接着在19年年中被NeurIPS‘19拒掉 (https://arxiv.org/abs/1905.13405)，再到19年年底被ICLR’20拒掉 (https://openreview.net/forum?id=HJgcw0Etwr), 最后增加了样本复杂度分析的重写扩展版 https://arxiv.org/abs/1909.13458 终于被ICML‘20接收。
现在回想起来，这整个过程走了非常多的弯路，其收获也远远高于一篇随便调参中稿的文章。多层神经网络的建模目前并没有统一的框架，各家有各家的做法，要从头建一个新的框架并得到不平凡的理论结果，还要保证有实验的支撑，是相当困难的。在快两年的时间里，我绞尽脑汁去掉各种太强的假设，不停地提出新的假设并重新建模和证明，再将文章贡献以正确的方式写出来。这样付出的时间和精力实在是有点多，花同样的代价在应用层面，恐怕早就到处开花结果了。
做理论若是掌握不好“度”的话，很可能变得眼界狭窄，目光呆滞，言语不灵，抗拒交际，无人合作，天天盯着几个破公式，想着“老子拼了命就是要证出这个来”，这既是可贵的执念，也是挥之不去的心魔。
但一旦冲破了这道关卡，明白应该怎么去想，就会知道什么问题值得思考，什么并不值得思考或是推导，什么是可以搁笔休息的阶段性成果，什么只是一厢情愿的幻想和奢望，清楚自己建模目的，减少在思维迷宫里绕弯的时间及空耗的脑力。最后自己能多一项核心竞争力，也终于解开了一把长久以来限制工作效率及虚耗精力的大锁。我有时候觉得自从做了一些深度学习的理论之后，再做些别的理论，尤其是有固定框架的理论，也能摸到些门道了。
做研究的魅力或者魔力，就在从未冲破之前到冲破之后，看到崭新的天地。
这些经验教训在做惯理论或有名师指引的人看来，可能都是相当简单平顺的流程，现在再回顾以往的《求道之人》系列，或许根本不用走得那么辛苦，也不必每周拼命工作一百个小时。
然而这是成长的代价。
俱往矣。每新的一天，都是新的一页。