因为赵匡胤没有具体的问谁，所以赵普和曹彬等人就都没有开口。实际上，赵普很想开口，但因为劝过赵匡胤两次，赵匡胤都不采纳，所以赵普就故意保持沉默。
却见赵匡胤朝着赵普一瞪眼道：“赵普，朕问你呢，这仗现在还能不能打下去了?”
赵普这才“哦”了一声道：“皇上，臣本愚钝，不敢妄言……臣想听听曹彬曹大人的高见!”
赵匡胤心中很不快活。赵普这样作答，明显的是对他赵匡胤有意见。好在赵匡胤也知道，现在不是生气的时候，所以，赵匡胤就咽下去一口唾沫，转向曹彬言道：“曹爱卿，宰相想听听你的高见呢!”
曹彬慌忙躬身道：“皇上，宰相大人既不敢妄言，微臣就更不敢妄言了……不过，微臣当年奉旨平蜀时，与十几万蜀兵jiāo过手，更与数十万蜀地叛军jiāo过手，臣以为，蜀兵也好，蜀地叛军也好，都不如太原城内的汉匪来得凶悍!”
“那是自然，”赵匡胤不觉点了点头，“不然，曹爱卿攻打太原不久，何以就中了汉匪一箭?”
“曹大人!”赵普突然亮了嗓子，把曹彬吓了一跳，把赵匡胤也吓得打了一个机灵。就见赵普冲着曹彬chuī胡子瞪眼睛道：“皇上是问你现在这个仗还能不能再打下去了，你为何岔开话题，诉说起当初攻蜀之事来?蜀兵在南，汉匪在北，二者如何能一样?这么简单的道理，皇上难道也不懂吗?”
若是平日，赵普这般冲着曹彬发火，曹彬肯定会大惊失色。但此番不然，因为曹彬早就知道赵普曾经劝过皇上撤军之事。同时曹彬还知道，皇上已有撤军之意，只是不便明说，而赵普正是想借他曹彬的嘴来给皇上下令撤军铺下个台阶。
所以，曹彬就做出一副诚惶诚恐的模样对赵普赔笑道：“宰相大人批评的是……曹彬一时紧张，说话跑题了……”
而赵匡胤听了赵普的话后心里却很不是滋味。那“这么简单的道理”一句，岂不是在讽刺他吗?亏得赵匡胤大度，不仅没有对赵普怎么样，还挤出一丝笑容朝着曹彬言道：“爱卿休要紧张。宰相有些性急，说出一点重话来也在所难免。你且歇歇气，然后慢慢告诉朕：在你看来，这仗还能不能再打下去了?”
曹彬说了实话：“皇上，依臣微见，这仗不能再打下去了，且臣以为，早一点撤军，就少一点损失……”
说完，曹彬暗暗地注视着皇上的脸，却见赵匡胤转问赵普道：“宰相，你以为曹爱卿所言如何啊?”
赵匡胤这是在明知故问了。赵普回答得也很得体：“禀皇上，臣以为曹大人所言十分地jīng当!”
“那好吧!”赵匡胤忙道，“就依曹爱卿所言：待大雨一停，就立刻班师回朝!”
赵匡胤终于做出了撤军的决定。只不过，这决定的产生似乎来源于曹彬的建议而与赵普无直接关系。在这种时候，赵匡胤还暗暗地与赵普较劲儿，也着实耐人寻味。
说来也有些奇怪，赵匡胤刚一作出撤军的决定，绵绵的大雨就渐渐地停了。以至于赵匡胤都有些纳闷起来：如果我早一点决定撤军，那大雨是不是早就停了?
虽然已经决定撤军，但也得有条不紊地进行。伤兵很多，患病者更多，还有那么多的军需粮草。所以，赵匡胤就令李继勋和党进带伤病者及军需粮草先行南下，又命赵赞率一支部队将太原以南的一万多户北汉百姓qiáng行迁至河南、山东等地以此来削弱北汉的实力。而赵匡
胤自己则与赵普、曹彬等人一道领一支万余人的宋军殿后掩护。
曹彬本是劝赵匡胤随李继勋和党进一同先行南归的，赵匡胤却道：“大宋官兵为朕抛头颅洒热血，最终却无功而返，朕如何还能先行南撤?朕虽然不能与他们一般浴血疆场，但总可以同你一起为他们断后吧?”
不难听出，赵匡胤对此次北伐多少有了些悔意。曹彬无奈，只好又去劝赵普与李继勋等人先走。赵普勃然作色道：“曹大人，皇上断后，赵普若先走，此为不忠。赵普与曹大人本是兄弟，如果赵普弃曹大人而先行南下，此乃不义。曹大人又何必陷赵普于不忠不义之地?”
这样一来，曹彬就只好与皇上和宰相同行了。没承想，赵匡胤和赵普差点被北汉军队捉了去。
那是一个还算晴朗的日子，赵匡胤、赵普和曹彬率万余宋军开始从太原南郊撤退了。虽无雨，也无风，但因为道路太过泥泞，行走实在不便，所以，赵匡胤等人紧走慢走了一整天，也只不过走了五十多里。
天黑的时候，殿后的宋军走到了汾河东岸的一个叫小店的村庄(太原以南约五十里处)。虽然一天没跑多少路，但宋军却也是人困马乏。赵匡胤对曹彬吩咐道：“官兵们也都累了，就在此地歇息一宿吧!”
小店村虽小，但因为村里的百姓都叫先行的宋军带走了，所以村庄就很空。当然了，万余宋军一下子开进了小店，村庄就立刻被挤得满满当当的了。
赵匡胤和赵普是在一间小屋里休息的。小屋里有两张旧chuáng，赵匡胤躺在一张比较大的chuáng上，赵普则躺在一张比较小的chuáng上。屋里很闷热，蚊虫还不知疲倦地唱个不停。曹彬本想叫几个士兵来为皇上和宰相赶蚊子，却被赵匡胤一口拒绝了。
虽然很疲倦，但赵匡胤和赵普却谁也睡不着。这倒不是因为什么天气闷热、蚊虫叮咬的缘故。即使此刻赵匡胤躺在龙chuáng上、赵普躺在自己的家里，恐二人也难以合眼。个中原因，当然是此次北伐失败了。
不过，俩人虽然都睡不着，但仿佛心照不宣似的，俩人谁也没有提及北伐之事，谁也没有多说话。在子夜之前，俩人都只各说了一句话。
赵普说的是：“在如此恶劣的环境中休息，真是太委屈皇上了!”
赵匡胤说的是：“委屈了朕，也委屈了你赵大人!”
说完了之后，俩人就又不约而同的缄默了。如果此时能下一场bào雨，也许会冲淡这小屋内的沉默气氛。然而，今夜偏偏没有雨，夜空中还有几颗模糊的星星在眨眼。
但子夜过后，赵匡胤和赵普的话就多了起来。因为小屋外有人高叫道：“汉匪打过来了!”
赵匡胤和赵普几乎是同时爬起了身，而且几乎是同时跳下了地。不同的是，赵匡胤跳下地的时候，手里拿着一把剑，而赵普没有剑，所以只能空着双手。
赵匡胤长剑一舞道：“刘继元真是欺人太甚!”
赵普双手一挥道：“是可忍孰不可忍?”
这时，那曹彬一头撞进了小屋。赵匡胤忙着问道：“偷袭的汉匪有多少人?”
曹彬气喘吁吁地回道：“具体数目不知……臣闻听有汉匪来袭，便忙着跑来护驾。”
赵匡胤急道：“曹彬，现在不是护驾的时候，你快去组织兵马把汉匪击退!”
赵普也道：“是啊，曹大人，只要你把汉匪击退，皇上也就安全了!”
曹彬不敢怠慢，急急地对身后的一个手下叮嘱了几声就甩开两腿跑了。很快地，赵匡胤和赵普的身边就围上来一大群宋兵宋将。