匈奴单于逼苏武投降。苏武说：“如果卑躬屈节，有辱使命，即使活着，又有何面目再回到大汉！”说完，拔刀刺入自己的身体。经过抢救，苏武慢慢苏醒过来。单于很钦佩苏武的气节，早晚都派人问候。

苏武逐渐痊愈，单于派人来逼降。举剑威胁苏武，苏武纹丝不动；用功名富贵诱惑苏武，苏武闭口不答；归降匈奴、背叛汉朝的卫律来好言劝降，苏武破口大骂。单于见苏武如此忠心，更加想让他归顺，就把他囚禁在一个大地窖中，断绝他的饮食。当时正下大雪，苏武躺在地上，吞咽雪片和衣服上的毡毛，几天后竟然未死。匈奴人以为有神灵庇护，便将苏武放逐到北海荒无人烟的地方，让他放牧一群公羊，并对苏武说：“等到公羊能产出羊奶，你就可以回国了。”随同苏武出使的常惠等使团中不肯投降的官员，也被分别扣留在其它地方。

苏武被放逐到北海边，没有吃的，就挖鼠洞里的草籽吃。他手持汉朝的符节，时刻不离，随身携带，以致节杖上的毛缨全脱落了。过了很长时间，单于又派归降的李陵来到北海边，摆筵劝降。

李陵与苏武是旧交。李陵说：“在这荒无人烟的地方白白受苦，你的信义节操，又有谁看到呢！你的两个兄弟，先前已都因罪自杀；你母亲也已不幸去世；你的夫人年轻，听说已经改嫁别人了；只剩下两个妹妹、两个女儿、一个儿子，如今又过了十几年，是否还在人世，还不知道。人生如朝露，你又何必长久的如此自苦！我刚投降匈奴时，精神恍惚，象要发疯，恨自己辜负汉朝，还连累老母被拘禁牢狱。你不愿归降匈奴的心情，怎么会超过我！况且皇上年事已高，法令变化无常，大臣无罪而被抄杀满门的达数十家，安危不可知，你还要为谁这样做呢！”苏武说：“为臣的侍奉君王，就如同儿子侍奉父亲。儿子为父亲而死，没有遗憾。你一定要我投降，就让我死在你的面前！”李陵见苏武一片至诚，长叹道：“唉！你真是义士！我与卫律的罪过上通于天！”赐给苏武牛羊数十头。

后来，苏武得知汉武帝去世的消息后，一连数月，每天早晚面对南方号啕痛哭，甚至吐血。

等到匈奴的新单于即位，要求与汉朝和亲。汉使来到匈奴，要求放苏武等人回国，匈奴假称苏武已死。后来汉使又来到匈奴，苏武以前的手下常惠暗中面见汉使，教使者对单于说：“汉天子在上林苑射猎，射下一只大雁，雁脚上系着一块写字的绸缎，上面说苏武等人在某湖泽之地。”使者大喜，按常惠之言责问单于。单于环视左右侍从，大吃一惊，向汉使道歉说：“苏武确实还活着。”这才将苏武等不肯投降的汉臣放回。

苏武一行来到长安后，汉昭帝诏令苏武用牛、羊、猪各一头，以最隆重的仪式祭拜汉武帝的陵庙，封苏武为典属国，品秩为中二千石，并赏赐苏武钱二百万、公田二顷、住宅一所。苏武被扣留匈奴共十九年，去时正当壮年，归来时头发、胡须全都白了。

后来，汉宣帝为表彰辅佐大臣的功劳，便命人在麒麟阁上，为他们绘制画像，描绘容貌，注明官爵、姓名，共十一人，其中就有苏武。