后来，杨广大建江都。江都是杨广在扬州的殿，规模宏大，豪华气派。杨广又想起了张衡，诏令张衡前去监工。张衡本来对杨广大兴土木就有意见，因而并不卖力，杨广很不满意。这个时候，薛衡无辜被杀，世人一片喊冤声。张衡也对人说：“薛衡真是冤枉”。

张衡也和薛衡一样，不肯自己了断，反而破大骂。张衡骂了些什么？《隋书》没有记载，只是说监刑官用双手捂住自己的耳朵，不敢听。大概张衡揭了杨广不少丑事，不堪耳。监刑官没有办法，只好把张衡勒死了。

本章已阅读完毕(请击下一章继续阅读!)

从《隋书》记载来看，张衡应该是没有杀害杨，否则的话，杨广早就把他除掉灭了，用不着一再惩罚他。

张衡作为杨广的心腹亲信，只因为劝谏杨广不要奢侈，就失被杀。看来，杨广不需要听逆耳忠言，他需要的，是俯首帖耳的才。

杨广有了这样的想法，张衡自然就失了。不久，杨广找了个借，把张衡贬为榆林太守，赶了京城。

杨广上台不久，就大兴土木，南北巡游，搞得民怨四起。张衡心里很着急，总想找机会劝谏皇上。公元608年，杨广巡游汾，见汾不够气派宏大，便下令扩建。张衡借机谏说：“这几年搞的大工程不少，老百姓有些疲惫，请陛下注意，以后少这样的事情。”

看来，张衡的格的确比较耿直，不够圆，在经历了一系列惩罚之后，并没有反省自己，更没有向杨广服求情，反而对杨广十分失望，心中极为不满，经常怨言。

张衡为薛衡喊冤，被人告发。杨广大怒，下令把他抓起来，打算死。张衡在狱中被关了很久，杨广念及旧情，最终没有杀他，只是把他削官为民，让他回老家去了。

地，报答皇帝杨广的大恩大德。

公元612年，杨广东征兵败，心情郁闷。这时，张衡的小妾上书告发，说张衡心怀怨恨，整天在家中大发牢，诽谤皇帝。杨广怒不可遏，当即令监刑官赶到张衡家中，令他自尽。

杨广是想惩戒一下张衡，让他自我反省，以后还要重用他。第二年，杨广再次巡游汾，把张衡召来，打算带他回京复职。杨广的想法是，张衡经过惩罚，应该是诚惶诚恐，寝不安，消瘦了许多。可是，当张衡来到杨广面前时，却是红光满面，态胖了不少。杨广心里不兴了，觉得这小日过得滋的，看起来，是没有行认真思过，于是便敷衍了几句，仍然让他回榆林去了。

张衡本来是一片忠心，杨广听了，心里却很不舒服。他认为自己对张衡够好的了，可张衡还对他挑病，岂有此理？杨广对侍臣们说：“张衡自以为有他的计谋，朕才当上天，因而居功自傲”。