过了不久,石建死了。于是皇帝下诏书令李广代替石建做郎中令。元朔六年(公元前123年),李广又做了后将军,跟从大将军卫青,从定襄出发攻击匈奴。众将领大多因斩了敌人的首级,俘获敌人的人数达到了朝廷行赏的标准,凭着功劳得以封侯,然而李广的军队没有立功。
此后三年,李广以郎中令的身份率四千骑兵从右北平出发攻打匈奴。博望侯张骞率领一万骑兵跟他一同出发,分道进军。前进了大约有几百里路,匈奴左贤王率领四万骑兵包围了李广。李广军中的士兵都很恐慌,李广于是就派他的儿子李敢前往冲击敌人。李敢只带了几十个骑兵,一直穿过匈奴的阵地,从左右两侧冲了回来,告诉李广说:“匈奴容易对付!”军士们才安定下来。李广布成圆形的阵势,所有的人都面朝外。匈奴也不敢攻击,箭就像下雨般地射来。汉军的战士死亡大半,汉军的箭也将要射完了。李广于是命令士兵拉满弓但不要射,而李广亲自用大黄强弓射杀了匈奴的副将。一连射死好几人,匈奴就越来越懈怠了。这时,正赶上日落,双军的官吏、士卒都面无人色,李广却神色不变,跟平时一样,更用心地整顿军队。李广军中的人打这以后更佩服他的英勇。