李德林后来奉杨坚之命写了一部《霸朝杂集》，记述杨坚辅政时的大事，杨坚虽然对此非常满意，还加封李德林父亲为定州刺史，安平县公，谥号曰“孝”，由李德林承继之，但很显然自从上次屠戮宇文氏以及乡正事件后，杨坚和李德林的关系已经产生了不可弥补的裂痕。平陈时李德林出谋划策，功不可没，但是杨坚取消了本欲赏赐李德林的政令，收回了李德林索取的八十个市店。开皇十年（公元590年），虞庆则指出了李德林之前极力反对的乡正问题，杨坚正要下令废除，李德林又站出来反对，理由仍然是朝令夕改于国不利，并且要求严惩这些总想着随意更改法律的人。这一次杨坚彻底被激怒了，他又想起了不久之前李元操和陈茂举报过的李德林谎报父亲官职的问题以及宇文氏事件、乡正事件，于是杨坚大骂李德林：
公为内史，典朕机密，比不可豫计议者，以公不弘耳。宁自知乎？朕方以孝治天下，恐斯道废阙，故立五教以弘之。公言孝由天性，何须设教。然则孔子不当说孝经也。又誷冒取店，妄加父官，朕实忿之而未能发。今当以一州相遣耳。
杨坚这一番话几乎囊括了李德林仕隋以来大大小小所有触怒他的行为，最后一句“今当以一州相遣耳”刺得听到的人头皮发麻，这意味着李德林从此彻底失去了在中央为官的机会，他先任湖州刺史，后又转任怀州刺史，取得的政绩也非常一般，一年后，卒于任上，享年六十一岁。
笔者在简要介绍完苏威、虞庆则、杨雄、李德林四个人之后，需要按照前面的分组进行一个简单的对比。高熲和苏威是一类人，他们都是具有非凡政治才能的人，文能治国，懂经济、行政、文化；武能安邦，懂行军、指挥、养兵，是隋朝宰相一级高官的理想人选。对于高熲、苏威这类人，杨坚力求把他们的能力最大化，但是能力最大化不等于权力最大化。苏威有集结朋党之嫌，立刻就遭到免官，前文讲到高熲干涉到杨坚和独孤皇后废立太子的事件中，又与王世积谋反案相牵连，旋即也遭到了免官。杨坚是个勤政的皇帝，但不是个有人情味的皇帝，他在处理某些问题时更像一个被设定好按照某种触碰不得的红线来进行判决的机器人，他不像政治家，更像是政治机器，特别是在他执政的后期，这一特点愈加明显，已全然没有了他在北周谋取辅政之位时所表现出来的强大的环境适应能力。笔者可以在此大胆揣测，如果杨坚不是皇帝而是担任某个官职的话，下场或许比高熲、苏威更惨。
虞庆则和杨雄都是更善于带兵的人物，皆是有大将之风的人才，杨坚对待他们的第一原则与对待高熲、苏威一样——能力最大化不等于权力最大化。但同时，我们应该注意到一个细节，虞庆则和杨雄都手握重兵，也都是赫赫有名的大隋功臣，不过虞庆则最终面临的却是一个被杀的命运，而杨雄则仅被剥夺了实权，并且还有爵位保留。这难道仅仅是因为虞庆则被赵什柱这样的小人诬告谋反吗？笔者认为这只能算是原因之一，实际上背后还有更深一层的原因。杨坚对虞庆则加以提防，绝不是在传出他有意谋反的消息之后，而是在李贤叛乱前。大家应该注意到一个细节，杨坚要选将平叛，虞庆则没有主动站出来，杨坚就非常恼火。这顿火发得有点匪夷所思，虞庆则只不过是没有主动自荐，或许是出于谦虚，或许是有其他考虑，要知道大隋一朝能征善战的名将不在少数，所以杨坚仅仅因此就责备虞庆则有点太不合乎常人的感情。我们或许可以大胆猜测：杨坚此时已经开始提防虞庆则了，所以对他的一言一行都非常敏感。这只是第一层背后的原因，另外笔者认为还有第二层的原因：出身差异。虞庆则是一个胡化程度很高的汉人，出身北周官僚系统，而杨雄是杨坚族子，是与杨坚有血缘关系的。与虞庆则相比，杨雄显然更得杨坚的信任，两人“待遇”不同也就不足为怪了。
李德林与上文所述这几位又有所不同了。首先李德林是一个纯粹的文生，从他的成长经历中我们可以看到他是一个接受正统儒学训练的学者，所以在一些问题的判断和处理上常常带着儒家正统的原则，通俗点讲就是该狠的时候狠不下去，该灵活的时候灵活不起来。在官场上，虽然李德林的才情是不容我们忽略的，但有时候，他确然没有虞庆则那样的勇气，也没有苏威、高熲那样的灵性。其次，李德林出身于北齐系统，北齐与北周是生死冤家，纵然周武帝宇文邕对他十分欣赏，杨坚在平陈过程中以及处理一系列重大问题时都会参考他的意见，但当苏威、高熲和李德林产生矛盾或分歧的时候，杨坚无一例外，全都站在了高、苏二人这边，即便以后事实验证了李德林的建议是正确的，杨坚也没有悔意，从这些细节中，我们可以看到杨坚轻视北齐系统官僚这一地域偏见是挥之不去的。
但是我们同时又应该注意到，杨坚用人，有高熲苏威这样的政