为胡宗宪作《白鹿表》，受到皇帝的赏识。自此胡宗宪对他更为倚重，对他放任的格，也格外优容。陶望龄《徐文长传》记载说：徐文长常常与朋友在市井饮酒，总督府有急事找他不到，便夜开着大门等待。有人报告胡宗宪，说徐秀才正喝得大醉，放声叫嚷，胡宗宪反而加以称赞。当时胡宗宪权重威严，文武将吏参见时都不敢抬，而徐文长着破旧的黑巾，穿一白布衣，直闯门，纵谈天下事，旁若无人。在总督府中，徐文长究竟为抗倭战事了些什么，已难以考实。不过，以徐文长的份，以他好奇计喜谈兵的格，以他素来对于抗倭战争的情，可以断定徐文长是参预了不少重要机谋的。在他留存的《拟上督府书》等文章中，也确实可以看到一些中肯的意见——虽然他所提的治兵之术未免有些峻刻。

当然在幕府中也有许多不如意的事。胡宗宪于各原因，与权臣严嵩来往甚密，而徐文长是痛恶严嵩的，他最亲近的友人沈鍊就因参刻严嵩而遭到杀害。但徐文长又不得不代胡宗宪写了一些捧严嵩的文字，这真是文人的悲剧。

嘉靖四十一年（1562），严嵩被免职，徐阶任内阁首辅。在徐阶的策动下，胡宗宪受到参劾，并于次年被逮捕至京（后来因平倭有功，只受到免职分），徐文长也就离开了总督府。到嘉靖四十四年，胡宗宪再次被逮狱，死于狱中，他原先的幕僚也有好几人受到牵连。徐文长生本来就有些偏激，连年应试未中，神上很不愉快，此时他对胡宗宪被构陷而死痛心，更担忧自己受到迫害，于是对人生彻底失望，以至发狂。他写了一篇文辞愤激的《自为墓志铭》，而后下上的铁钉击耳窍，血如迸，医治数月才痊愈。后又用椎击肾，也未死。如此反复发作，反复自杀有九次之多。嘉靖四十五年，徐文长在又一次狂病发作中，因怀疑继妻张氏不贞，将她杀死，因此被关监牢。

初狱时，生活自然是痛苦的。徐文长带枷锁，满虮虱，冬天雪积床，冷得发抖，连朋友送来的也被抢走。后来他的许多朋友为解救他而四活动，才使待遇有所改善。其中援助最为有力的，先是礼侍郎诸大绶，后是翰林编修张元忭（他是明末著名散文家张岱的曾祖父），他们都是徐文长的至，又都是状元，颇有声望。在这些朋友的解救下，徐文长坐了七年牢，终于借万历皇帝即位大赦之机获释。这是1573年的事，徐文长已经五十三岁了。

三、潦倒的晚年

经历了如此多的磨难，徐文长已不再有什么政治上的雄心，但他对国事的关注却老而未衰。狱后，他先在江浙一带游历，登山临，并结了许多诗画之友。万历四年（1576）夏，徐文长年轻时代的朋友，这时已经到宣化巡抚、担负北边防重任的吴兑邀他北上，他便欣然前往。徐文长在宣化幕府的时间不到一年，但留下了不少描写北地风光、民俗和军旅生活的诗文。在写给许多官员的赠序中，他都喜议论政事，尤其是关于边防的策略。当时张居正主持国政，对蒙古采取抚和的方针，徐文长对此表示赞赏。他在吴兑那里受到敬重，无奈不好，只得于次年经北京回到家乡。

徐渭之墓六十岁时，徐文长应张元忭之招去北京，但不久两人的关系就恶化了。据张岱的记叙，张元忭是个格严峻、恪守礼教的人，而徐文长却生放纵，不愿受传统礼法的束缚。张元忭常常以封建礼教约制徐文长，这使徐文长大为恼火。他曾对张元忭说：我杀人当死，也不过是颈上一刀，你现在竟要把我剁成糜！由于和老朋友的恶，加上与官僚们往受到不平等的对待，使徐文长情绪郁愤，旧病复发，便于居京三载后重归家乡。此后，徐文长就再没有离开过山。

晚年乡居的日里，徐文长越发厌恶富贵者与礼法之士，所游的大都是过去的朋友和追随他的门生。据说有人来访，徐文长不愿见，便手推柴门大呼：“徐渭不在！”他一生不治产业，钱财随手散尽，此时只得靠卖字画度日。但手稍为宽裕，便不肯再作。倒是一班门生和晚辈的朋友，或骗或抢，常常得到他的杰作。徐文长似乎特别嗜蟹，许多题画诗记载了朋友们用活蟹来换他画蟹的经过。最后几年，徐文长患多疾病，大约画也不能常作，生活更为贫苦。《徐文长文集》中有《卖貂》、《卖磬》、《卖画》、《卖书》诸诗，显示这位大文学家艺术家凄凉的晚境。1593年，徐文长去世，年七十三。