到了这个时候，北边的人也明白了，像这样的人，除了杀了他，你又能怎么着。但伯颜知道，这个时候杀了文天祥，就等于绝了对方投降的念头，对方会不会像东京汴梁一样，鱼死网破不讲，就是放一把火，你也就得到一块白地，而这是违背忽必烈意愿的。但就算不杀宋瑞，放这样的人回去，也是有危险的，于是他放了其他人，却扣留了文天祥。

伯颜见天祥举动不常，疑有异志，留之军中，遣坚等还。天祥怒，数请归曰：“我此来为两国大事，何故留我？”巴延曰：“勿怒。君为宋大臣，责任非轻，今日之事，正当与我共之。”令万户蒙古岱、宣抚索多羁縻之，……

这时文帅哥真急眼了，因为他本来就有探听虚实、回去再干的想法。在元军那里，他不仅大骂投降的帝国大臣贾馀庆、吕文焕吕师孟等人，而且连伯颜也带上了。结果那些人共同建议伯颜，不单单要扣留文天祥，还应该把他押往北方。

伯颜是这样做了，可是，他还是对文帅哥重视不够。文帅哥的随行人员中，不仅有巩信、吕武这样忠心耿耿的义士，还有杜浒这个江湖高手在。是杜浒这个浪子用江湖手段，使他们一行人终于在镇江逃脱了。而跑回去的文帅哥，的确如伯颜先前所料，给北元带来了不少麻烦。

文天祥无疑给伯颜的印象是非常深刻的，“（宋瑞）体貌丰伟，美皙如玉，秀眉而长目，顾盼烨然。”这样一位帅哥，这样一位有文采而且有骨气的人，即使在我们五千年的历史上，也的确少有。当时董文炳也在，这个最为忽必烈看重的大兄，怎么也没言语了？

就连历史上的忽必烈，对宋瑞的气度风采都极为欣赏。文天祥兵败之后被押往大都，北元派留梦炎等一干已降之人多次劝降，忽必烈甚至直接开口要让他做丞相，但文天祥就是不屈。忽必烈十分敬重他的才学与为人，宋瑞又很有人气，一些降元的宋臣就打算请老忽释放文天祥为道士，正好这时候天下也算大定，老忽也曾考虑过就这样算了。但留梦炎却和那些降元的宋臣说：“天祥出，复为号召江南义士抗元，吾辈将置于何地？”结果这事不了了之。

几年后，由于有人以宋瑞的名义造反，在边上的人撺掇下，最终老忽