和长孙皇后有养育之恩。玄武门之变时，高士廉起了重要的作用，不但劝谏李世民动手，还入宫麻痹李渊，为李世民创造机会，李世民登基之后，封他为侍中，后来高士廉觉得自己对不起李渊，心中惭愧，遂以年老请辞，功成身退，于长安郊外盖了一座府邸，很少参与朝中大事了。

但这并不代表，他不在乎钱财。李世民要收矿于朝廷，他是关陇集团第一个不答应的，但是李世民是他的外甥女婿，他不好意思说，就来找长孙无忌了。

长孙无忌听到了舅父问话，不敢不答，沉吟了一下，道：“李牧，我们得保！”