宣帝闲暇时受到召见，平恩侯许广汉可以径自廷，官吏百姓可以不经过尚书直接向宣帝呈递秘密奏章，这些都使霍氏一家人极为恼恨。

霍显找来霍禹、霍云、霍山，忧虑说：“现在你们没有继承到大将军的事业，霍家也没有以前的地位了。可这魏相御史大夫兼给事中，还了丞相，还有那个萧望之，也已经成为纠举不法官员的二千石级大官。他俩都是在心里仇恨大将军和霍家的人，一旦他俩在皇上那里说我们霍家的坏话，你们还有什么办法能救自己吗？”

众人不语。

宣帝时常听到霍家没有理会他的警示，仍然放纵张狂、骄横奢侈的奏报，魏相又面奏霍家总冯都带人打上自己府里，萧望之又密奏关于霍显指使女医毒死许皇后的传闻，决定一步采取行动了。

过了几天，宣帝诏令将霍光的六女婿度辽将军、未央卫尉、平陵侯范明友调任光禄勋，将霍光的三女婿中郎将、羽林监任胜调京师，任安定郡太守。

几个月之后，宣帝又将霍光的女婿给事中、光禄大夫张朔调任蜀郡太守，将霍光的孙女婿中郎将王汉调任武威郡太守。稍后，又将霍光的二女婿长乐卫尉邓广汉调任少府，改由张安世为卫将军，领未央、长乐两卫尉，将长安十二门的警卫队和北军给张安世辖统领。任霍禹为大司却不让他照汉制大司冠武弁大冠，而贬小冠，且不颁给印信、绶带。又将范明友的度辽将军印信和绶带收回，只让他担任光禄勋一职。霍光的四女婿赵平任光禄大夫、散骑都尉，统领护卫皇帝的骑兵和屯戍队，就把赵平的骑都尉印信和绶带收回。所有统领胡人和越人骑兵、羽林军以及未央、长乐两卫所属警卫队，都改由宣帝所亲信的原皇后许平君和祖母史良娣两家亲属统领。

宣帝采取这些措施后，霍氏家族成员手中从此就失去了理朝廷中枢政务、统领京城皇警卫和国家各地军队的权力了。

霍禹就以有病不去上朝理事相抗。

他以前的长史任宣听说他病了不能上班，一人前来探望问候。

一番寒暄之后，霍禹叹气说：“唉，我哪里有什么病啊！当今皇上不是靠我家大将军怎么能到现在的地步，如今大将军坟墓上的土还没有，他就一律疏远排斥我们霍家，夺了我的兵权，还没收了我的官印。”

“大司，下官……”

任宣正劝说，又被霍禹打断。他愤愤说，“他打压我们霍家，重用许、史两家，现如今许、史两家的大量人员在朝廷担任要职，把外祖母王媪赐“博平君”称号，把舅父王无故和王武先赐关内侯爵，接着又分别封为平昌侯、乐昌侯，我算了一下，短短十天时间，对王家的赏赐就以万万计。”

任宣见霍禹对宣帝怨恨很，这样下去十分危险，就恳切劝：“大将军病逝了，他的时代也就结束了，您霍家再不可能把持国家权柄，将生杀予夺在手中。廷尉李、王平、左冯翊贾胜胡以及车丞相的女婿少府徐仁，都因冒犯大将军的意旨而被下狱而死；使乐成这样的小人家弟因为受到大将军官至九卿，爵为列侯；朝廷官员很多只事奉冯都、王方等人，本不把丞相放在里，这些现在都不可能了。如今许、史两家是天的骨姻亲，得到尊贵正是理所当然，这是各自有自己的时代。大司您如果因此而心怀怨恨，还外于行，我认为这就不应该了。”

任宣的意思很明确：一朝天一朝臣，各领风数十年；识时务为俊杰，认现实求平安。