广年老，命运不好，不让他与单于对阵，恐不能实现俘获单于的愿望。当时公孙敖刚刚丢掉了侯爵任中将军，随卫青出征，卫青也想让公孙敖跟自己一起与单于对敌，故意把李广调开，李广也知道内情，所以坚决要求卫青改调令，卫青不答应，命令长史写文书发到李广的幕府，对他说：“赶快到右将军部队中去，照文书上写的办。”李广不向卫青告辞就启程了，心中非常恼怒地前往军部，领兵与赵食其合兵后从东路出发。军队没有向导，有时迷路，结果落在卫青之后，卫青与单于交战，单于逃跑，卫青没能活捉单于只好收兵。卫青南行渡过沙漠，才遇到李广与赵食其的军队。李广谒见大将军后回自己军中。
卫青派长史送给李广干粮和酒，顺便向李广、赵食其询问迷路情况，卫青要给楚武帝上书报告军情。李广没有回答。卫青派长史急令李广幕府人员前去受审对质。