霍光继续执掌汉朝的大权，直到霍光去世，前后十几年，加上汉昭帝时期的时间，霍光主宰汉朝前后达到二十年。

为什么汉宣帝不接受霍光的请求呢？请看汉朝的局面的构成。大将军霍光的儿子，女婿掌握着未央宫、长乐宫等皇宫的侍卫君、京城重要城门的警卫部队、京都附近的所有精锐部队等等，大将军想控制局面，没有人有任何武力与之对抗，谁知道霍光是不是在试探皇帝呢？

权力这个东西，可以使人上瘾，也可以使人疯狂。

霍光为人很谨慎，朝中没有任何人与自己作对，皇帝对自己也很恭敬，虽然每次与大将军在一起的时候，汉宣帝的脊梁上都好像扎了一根钢刺，但是，富有政治智慧的汉宣帝是不会在没有把握的情况下，与霍氏家族闹翻的。

霍光病重的时候，汉宣帝亲自去探望，流着泪，做出痛苦状。霍光临死时，还为自己的家人要求封赏，汉宣帝爽快地答应了。霍光的葬礼所用的材料，与天子差不多。

霍光应该想到：“这一切都是汉宣帝要报复霍氏的先兆”。可惜的是，枭雄霍光到底也没有看透深不可测的汉宣帝，霍光的家人大祸临头，还不知道进退，他们的政治敏感度与才干太差，决定了汉宣帝是很有把握对霍氏下手的。

从何入手呢？从汉宣帝在乡下的患难妻子许皇后之死入手。

霍光有一个小女儿，很漂亮。霍光的妻子霍显想要安排自己的女儿进宫做汉宣帝的皇后，怎么办呢？

霍显瞒着霍光，找来一名宫中的女医生叫做淳于銜的，霍显用加封职位的好处，引诱淳于銜用毒药杀死怀有身孕的许皇后，将自己的女儿顺利地送进皇宫，最终成为了皇后。事后，霍光知道了此事，没有做任何补救。

汉宣帝也听说了一些传言，他没有去查实，因为他知道，只要霍光还活着，就必须忍下去，不能做任何事情，这就是一个高明的政治家。

霍光终于死了，汉宣帝在风光地安葬了霍光之后，开始不动声色地行动了。

汉宣帝首先将霍光的女婿、儿子升迁了岗位，或者是得到了更高了职位荣誉，或者是调到了外地，远离了京城。这群笨蛋不论心中愿不愿意，都对皇帝的行动无可奈何。

调动岗位的结果是，霍氏手中不再有一兵一卒，宫中、京城、京城四周的军队全部安排了汉宣帝自己的人。

霍显还不知道大祸即将来到，她依旧很张狂地过着奢华的生活，霍家的人，不受规矩，任意出入皇宫。与霍家有仇的人，在汉宣帝跟前告状，汉宣帝总是说：“知道了”，却不再理会。

汉宣帝怀念许皇后，立许皇后所生的儿子为太子，霍光的女儿霍政君很生气，为了将自己亲生的儿子扶上太子宝座，霍皇后多次要毒死皇太子，太子每次吃饭，总有人先试吃，所以，每次都不能成功。

霍家的权力在减少，他们不停地抱怨，甚至想发动叛乱，杀死汉宣帝，他们根本没有想一想，军队已经全部到了他人手中，霍氏已经成了待宰的羔羊了。

汉宣帝终于动手了，霍氏满门被杀，霍皇后被废，霍氏帝国宣告结束。