一九一八年，俞大维负笈留洋，在美国哈佛大学专攻哲学。三年一共十二门课，他统统都拿的A。他告诉同学们他的秘密：大考大玩、小考小玩、不考不玩。他认为平时应该认真读书，不要等考试才临时抱佛脚，功夫全在平时的孜孜不倦。在哈佛三年，他取得博士学位，并获希尔顿旅行奖学金。用这笔奖学金，他到了柏林大学，攻读德国哲学和数学，并聆听了爱因斯坦教授的相对论。
一九五零年三月，俞大维在台湾被任命为国防部长。他不是黄埔出身、不是国民党员，一介书生当了国防部长，是很罕见的。 俞大维生前信佛，去世前的五个月正式皈依佛门，法号净维。他的遗骨火化后，出现数十粒舍利子，令人称奇。
