了李广的军队，生擒了李广。单于向来听说李广才能非凡，下令：“俘获李广后一定要把活人送来。”匈的骑兵俘获了李广，李广当时受伤生病，他们就把李广放在两匹之间，用绳编成网兜让他躺在里面。走了十多里地，李广装死，斜看到他旁的一个匈少年骑了一匹好，李广突然纵上那少年的，顺势把少年推下去，夺走了他的弓，策向南飞奔数十里，重又遇到他的残余队，于是带着他们了关。匈发动几百名骑兵来追捕他，李广边逃边拿起那少年的弓箭杀追来的骑兵，因此才得以逃脱。于是他回到了汉朝，朝廷把李广给执法官吏。法官判决李广损失、伤亡人太多，他自己又曾被敌人活捉，罪当斩首，李广用钱赎了死罪，被贬为平民。

转间，李广已闲居在家数年，李广在家与已故颍侯婴的孙隐居在蓝田县，常去南山打猎。曾于一天夜里带着一个骑士外，和别人在乡间饮酒。回来时到了霸陵亭，霸陵尉喝醉了，大声喝斥李广，禁止他们通行。李广的随从说：“这是前任李将军。”霸陵尉说：“现任将军尚且不得在夜间行，更何况是前任呢！”便把李广扣留在霸陵亭下住了一宿。没过多久，匈人侵杀死了辽西太守，打败了韩安国将军，韩将军被调到右北平。这时天就召见李广，拜他为右北平太守。李广当即请求让霸陵尉随他赴任，到了军中后就把他杀了。

李广驻守右北平，匈人听说后，称他为“汉朝飞将军”，躲了他好几年，始终不敢侵右北平。

一次李广外打猎，看见草中的一块石，以为是老虎便向它去，石被中了，箭都钻石里了，过去一看，才发现是石。接着再，终究不能再石里了。李广在各郡驻守时，听说哪里有老虎，常常亲自去杀。等到他驻守右北平时，一次去虎，老虎起来伤了李广，李广最终也把它死了。

李广为官清廉，得到赏赐后就分给他的下，他总与士兵在一起吃喝。李广一生二千石俸禄的官达四十多年，家中并没有多余的财产，也始终不提置办家产的事。

李广材大，长臂如猿，善于箭是他的天，即便是他的孙或别人跟他学习，也没人能赶得上他。李广拙少言，与别人在一起时就在地上画军阵，比试箭术的疏密、准确，输了的人罚酒。他专以箭为消遣，一直到死。

李广带兵，遇到缺粮断的时候，看到有了，不是所有士兵都喝到，李广不靠近；不是所有士兵全吃上饭，李广不吃一饭。李广对人宽厚和缓，从不苛刻，因此士兵们都他，乐于为他效力。李广箭的方法是：一看到敌人急速近，如果不在数十步之内，他估计不中就不会箭。只要一发，敌人立即应声倒地。正因为如此，他领兵时有好几次被困受辱，杀猛兽时也曾被猛兽所伤。

过了不久，石建死了，这时皇上召见了李广，让他接替石建担任郎中令。元朔六年，李广又被封为后将军，随大将军卫青的军队从定襄发兵，征伐匈。许多将领杀死、俘虏敌人符合规定数额，因战功而被封侯，可是李广的军队却没有立下战功。过了两年，李广作为郎中令率四千骑兵从右北平发兵，博望侯张骞率一万骑兵与李广一同征，分而行。行军约有几百里，匈左贤王率四万骑兵包围了李广，李广的士兵都非常惊恐，于是李广派他的儿李敢骑向匈军中飞奔前。李敢独自带几十名骑兵直捣匈骑兵阵，从敌军的左右两翼杀，回来向李广报告：“匈人很容易对付啊！”士兵们这才安心。李广摆成面向外面的圆形兵阵，匈对他们行猛攻，箭如雨下。汉军死掉大半，箭也快用光了。李广就命令将士们拉满弓，不要放箭，而他亲自用大黄弩杀匈的副将，杀死了好几个人，匈军队才渐渐散开。恰逢天已晚，官兵都面无人，可是李广却神态自若，更加注意整顿好军队。军中上下从此都更是佩服他的勇气。第二天，又继续奋力作战，博望侯的军队也赶来了，匈军队这才撤离。博望侯的军队非常疲惫，所以也没能去追击。当时李广的军队几乎全军覆没，就收兵回朝。依照汉朝法律，博望侯行军迟缓，耽误行程，罪当死，他用钱赎罪，被降为平民。李广的军队功过相抵，没有封赏。

当初，李广的堂弟李蔡与李广一起侍奉孝文帝。到景帝时，李蔡累积功劳已官至年俸二千石。武帝时，到了代国的相国。元朔五年，被任为轻车将军，随大将军卫青攻打匈的右贤王，立下战功，达到封赏的标准，被封为乐安侯。元狩二年，李蔡代替公孙弘任丞相。李蔡的才在下等的中间，声名和李广差得很远，然而李广却得不到爵位和封地，官位也没超过九卿，可是李蔡却位居列侯，官位达到三公之列。李广属下的军官和士卒们，也有人被封侯。李广曾与星象家王朔私下闲谈：“自打汉朝击匈以来，我没有一次不在汉军之中。可是各军中校尉以下的军官，他们的才能还不如普通人，然而因攻打匈而立下军功被封侯的有几十个人。我李广不比别人差，但是没立下一功劳来得到封邑，这是什么原因呢？难是我的骨相不当封侯吗？还是命该如此呢？”王朔说：“请将军自己回想一下，难您曾经过什么值得悔恨的事吗？”李广说：“我曾担任陇西太守，有一次羌人反叛，我诱骗他们投降，有八百多人投降，我用欺诈的手段在同一天内把他们都杀害了。至今以来只有这件事是我最大的悔恨。”王朔说：“没有比杀害已投降的人罪过更大的了，这就是将军您不能被封侯的原因。”

又过了两年，大将军和骠骑将军率大军征匈，李广屡次主动请求随行。天认为他年事已，没有答应；好久之后才准许他前去，任命他为前将军。这一年是元狩四年。