孙子吕永吉继承。吕永吉的叔叔吕道贵，言语粗俗浅陋，杨坚供他丰厚的物资享受，但不许他与政府来往，后来让他当上仪同三司，出任济南郡长，但不久便撤销济南郡，吕道贵在家中去世。

关于皇亲国戚的亲疏问题，其实太亲密或太疏远都不合适，太亲密容易引发外戚专权或是亲王大乱，而太疏远则使皇家缺乏必要的屏障，容易被外姓夺权。如何掌控其中的平衡，是困扰历代帝王的大问题，而且很难解决，毕竟人性过于复杂多变，谁也不知道身边的人的想实想法，更不知道身边的人将会做出什么骇人听闻的惊世之举。