转眼间，李广在家住了几年。他和从前颍阴侯的孙子灌强都住在兰田县南山脚下，常常到山中去打猎。一天晚上，李广带着一名随从骑马出门游玩，跟人家在田野间一起饮酒，回家的时候，路过霸陵亭。霸陵县尉喝醉了酒，吆喝着拦住了李广，不准他过去。李广的随从对他说：“这位是前任李将军。”县尉说：“就是现任的将军夜间也不准通行，何况还是从前的呢！”勒令李广在那里住了一夜。过了不久，匈奴兵又侵入边境，杀死辽西太守，打败了将军韩安国。韩安国被调到右北平（河北建昌县东），不久，因病去世。武帝又起用李广，派他接任右北平太守。
匈奴听说李广在镇守右北平，称呼他为“汉朝的飞将军”，一直避开他，好几年不敢入侵那一带地区。
有一次，李广外出打猎，远远望见草丛里一块石头，以为是只老虎，一箭射去，箭头全钻进去了。他走过去一看，自己也觉得奇怪，接连对石头又射了几箭，却无论怎样也射不进去了。李广每住在一处，只要听说有老虎，总是亲自去射猎。在镇守右北平时，有一天去射老虎，那只虎猛地纵身扑过来，抓伤了他，但李广还是把它射死了。
