杨雄在仕途中没有犯过什么大错，在同僚中声望也很高，这反而让杨坚更加担忧。我们前面第一次提到四贵的时候也讲过，没有任何事件作为契机或导火索，也没有任何征兆，开皇九年（公元589年），杨坚突然下诏任命杨雄为司空，剥夺了他的军权，十年后（公元599年），封清漳王，仁寿元年（公元601年），又改封安德王，理由是“安”、“德”二字与杨雄德行相称。我们可以看到，无论杨坚给杨雄什么样的封号，始终都没有让他回到核心领导层。到后来隋炀帝执政的时候，虽然曾让杨雄担任过太子太傅、京兆尹，还做过一些地方官，但其权力已经远远不及他在文帝朝担任左右卫大将军时那么大了。隋炀帝大业八年（公元612年），炀帝东征高句丽时，杨雄发病死于军中。
又是令人唏嘘不已的一生！
杨雄之后，我们要介绍的人物是李德林。李德林（530——590），字公辅，博陵安平（今河北省定州市）人，从其生卒年来看，李德林属于隋朝早期重臣，他的政治生涯有很大一部分是在南北朝时期渡过的。与隋朝其他几位重臣相比，李德林没有苏威、高熲那样强有力的政治手腕，也没有虞庆则、杨雄那样的军事才能，他是一个比较纯粹的文臣，《隋书·李德林传》记载：
德林幼聪敏，年数岁，诵左思蜀都赋，十馀日便度……年十五，诵五经及古今文集，日数千言。俄而该博坟典，阴阳纬候无不通涉。善属文，辞覈（详实、严谨）而理畅。
李德林年轻时除了以才情著称，还以孝著称。父亲去世的时候，李德林扶柩还乡，寒冬之日光脚单衣；母亲生病时，李德林在家一边读书，一边照顾母亲，拒不出仕，后来他出去做官后，母亲病逝，他整整五天水米未进，患上发热病，遍体红肿。李德林身边的一些朋友陆骞、宋士素、张子彦等给他调制汤药，他拒不服用，没想到过了几日，病突然好了，大家都说这是李德林的孝心感动了上天。李德林身上的这些品质得到了当时很多人的欣赏，也引起了一个人的兴趣——北齐任城王高湝。高湝是高欢的第十个儿子，《北齐书·高湝传》对高湝的形容词是“少聪慧”，神童之间往往比较有共同语言，高湝非常欣赏李德林，把他召入府邸，常在一起交流。李德林从此进入了北齐系统，正式踏上仕途。高湝把他推荐给了尚书令杨遵彦，推荐信中称赞他：
今岁所贡秀才李德林者，文章学识，固不待言，观其风神器宇，终为栋梁之用。至如经国大体，是贾生、晁错之俦；雕虫小技，殆相如、子云之辈。
这些赞美之词几乎把李德林捧上了天，杨遵彦半信半疑，亲自考察了他一番，也觉得很满意。此后，李德林的官职以惊人的速度向上攀升，先后做过丞相府行参军、员外散骑侍郎、中书舍人、中书侍郎、通直散骑常侍等要职，基本上都是以文职为主。值得一提的是，李德林在文林馆（北齐所设的集合了一大批文人学士的文化机构）工作时，曾和时任黄门侍郎的颜之推共事过，而颜之推留给后世最宝贵的财富就是妇孺皆知的《颜氏家训》。
周武帝宇文邕平定北齐之后，力邀李德林为自己效力。后来杨坚辅政，李德林就转投到了杨坚的门下，在处理三方叛乱时常向杨坚出谋献计，处理各种军务文书，解决梁士彦、宇文忻、崔弘度收受尉迟迥贿赂的问题，避免杨坚临阵换将的重大失误。杨坚曾感叹道：“若公不发此言，几败大事。”但是，与虞庆则、苏威、杨雄一样，李德林最终也渐渐在杨坚门下失宠，源于两件事。第一件，隋朝初立，虞庆则建议杨坚屠戮北周宗室，削弱宇文氏的影响。李德林出于一个文人的气节与道义上的考虑，坚决不许杨坚这样做。但是从前面我们对杨坚的一系列介绍中，大家都能察觉到杨坚固然勤政，但有时的确是个强硬冷血且危机感非常强的人，面对时时可能造成威胁的宇文氏，他自然不会站在李德林这一边。李德林“自是品位不加，出于高、虞之下。”第二件，苏威提议每五百户设一个乡正，用以处理民间诉讼。李德林再一次站出来反对，理由有三，一、乡正在乡间必定有亲属朋友，天高皇帝远，如果把这么大的权力授予乡正，很容易造成判决不平的问题；二、要在仅仅五百户的范围内选出乡正，恐怕其才其德都难以保证；三、有些偏僻的县乡不足五百户，不具备选举的条件。杨坚觉得李德林说得也有道理，于是就召集百官商议，大家都同意李德林的意见。苏威见自己的意见不被采纳，于是又提出一个想法——废郡。李德林仍然反对，不过他反对的不是废郡，而是苏威的做事方式：“修令时，公