如何做好研究:锻炼那些可以「刻意练习」的真正能力
说实话,很少有人真正教过你怎么做研究。你领到一张办公桌、一个别人挑好的问题,外加一句“做出点新东西”——然后全靠自己摸索。大多数人只能通过自己能摸到的东西(论文、帖子、公告)来逆向工程这份工作,最终学会的只是怎么“看起来”像个研究员,而不是真的“成为”研究员。真正的研究能力,说白了是一堆小技能的叠加,而每一条技能都可以靠刻意练习磨出来。
挑选你自己的问题
理查德·汉明在贝尔实验室有个出了名的习惯——他总喜欢在午餐时问坐在旁边的人:“你们领域里最重要的问题是什么?”然后追问:“为什么你不去解决它?”结果大家纷纷换桌吃饭。这个问题很刺人,因为大多数人都答不上来。我们不是在主动选择问题,而是在被动吸收问题——从导师那里吸收,从某个大实验室上季度的公告里吸收,从这周大家都在转发的论文里吸收。
吸收来的问题,麻烦在于你只拿到了结论,却不知道背后的推理链条。你知道某家著名实验室关心某个方向,但你不清楚他们为什么关心,期望发现什么,以及什么情况下会放弃。等他们转向时,你往往要一年后才察觉。更糟糕的是,在一个已经炒热的问题上,你是在和上千个起步比你早、算力比你多的人赛跑。
约翰·舒尔曼的机器学习研究指南把这项工作分成了两种模式。第一种,你读文献,找可以改进的地方。第二种,
你选一个自己真正想实现的结果,然后反推去设计实验。
至于“品味”,很多人把它当成天赋来讨论。但它的表现更像一块肌肉。每次实验前先预测结果;遮住论文的结果部分,光看方法猜数据;记下这个月发布的成果里哪些两年后依然重要,以后回头验证命中率。一次预测加一次纠错,重复几百次——每一个好模型都是这么训练出来的,包括你脑子里的那个。
升级你的输入
共享的阅读清单必然产出共享的想法。如果你的信息口粮只限于arXiv热榜加群聊筛选后的剩饭,你铁定会跟所有人同时得出同样的结论——而这些结论几乎一文不值。
旧资料的价值被严重低估了。这个领域总在延时重演自己的过去:混合专家模型能追溯到1991年,LSTM到1997年,反向传播在1986年就成了主流。理查德·萨顿在2019年只用了一千来字写出《苦涩的教训》,它对领域发展轨迹的预测,比篇幅长它十倍的综述还准。克劳德·香农在1952年做过一场关于创造性思维的演讲,他的第一招就是把问题缩小到几乎微不足道的程度,破解这个缩小版,然后再把难度一点点加回去。单凭这一招,就能帮你撞破比任何现代生产力建议都要多的墙。
广度和深度一样重要。
还有一件事要记住。
去读论文本身,而不是读它的总结帖子。
把一切都写下来
保罗·格雷厄姆说过,一个想法在你试图把它变成文字之前,总感觉已经成熟了。但白纸黑字会暴露出你大脑粉饰过的漏洞:你从未测试过的假设、其实并不连贯的步骤、两个悄悄自相矛盾的主张。费曼的原则是,你必须避免欺骗的第一人就是你自己,因为你最容易上当。
写作是有史以来发明的最廉价的反欺骗机制。
达尔文走得更远,他把它程序化了:任何违背他理论的事实都会被当场写下来,因为他发现自己的记忆删除不利证据的速度,远比删除有利证据快。你的记忆对你失败的运行记录也是这样。保持做日志的习惯——假设、设置、预期、结果、更新后的认知。重读上个月的记录会让你极度谦卑,没有任何审稿人能带来这种效果。