北海是一片原始大地，千里没有人烟，气候异常寒冷，积雪常年覆盖在大地上，鸟兽罕至。苏武来到北海后，没有粮食，没有饮水，饿急了就挖鼠洞，将洞中的草根、野果取出来充饥。苏武昼夜不肯放下象征汉使身份的节杖，时间长了，节杖上的旄毛全都脱落，他还是不肯丢弃。
苏武在北海期间，曾经和苏武在一起做过汉武帝侍中的李陵，投降了匈奴。单于派李陵去劝降苏武，李陵来到北海后，对苏武说：“单于一直在等你回心转意，今生今世你恐怕也不能回到汉朝了，在这万里荒原之中白白受苦，谁又能知道你的忠义呢？近些年来，皇帝年事已高，总是做出反复无常的事来，大臣中没有什么过错就被灭族的有几十人，您还为谁效忠呢？”
苏武说：“我心甘情愿以身报国，如果单于一定要我投降，那我就只能一死以示忠心了。”后来李陵再次来北海探望他的时候，告诉他汉武帝去世了，苏武听后面向南方大声痛哭，一连哭了几个月。