转眼间,李广在家住了几年。他和从前颍阴侯的孙子灌强都住在兰田县南山脚下,常常到山中去打猎。一天晚上,李广带着一名随从骑马出门游玩,跟人家在田野间一起饮酒,回家的时候,路过霸陵亭。霸陵县尉喝醉了酒,吆喝着拦住了李广,不准他过去。李广的随从对他说:“这位是前任李将军。”县尉说:“就是现任的将军夜间也不准通行,何况还是从前的呢!”勒令李广在那里住了一夜。过了不久,匈奴兵又侵入边境,杀死辽西太守,打败了将军韩安国。韩安国被调到右北平(河北建昌县东),不久,因病去世。武帝又起用李广,派他接任右北平太守。
匈奴听说李广在镇守右北平,称呼他为“汉朝的飞将军”,一直避开他,好几年不敢入侵那一带地区。
有一次,李广外出打猎,远远望见草丛里一块石头,以为是只老虎,一箭射去,箭头全钻进去了。他走过去一看,自己也觉得奇怪,接连对石头又射了几箭,却无论怎样也射不进去了。李广每住在一处,只要听说有老虎,总是亲自去射猎。在镇守右北平时,有一天去射老虎,那只虎猛地纵身扑过来,抓伤了他,但李广还是把它射死了。