苏武牧羊的地点是现在的俄罗斯西伯利亚贝加尔湖。

苏武一行人原本受汉武帝的命令出使匈奴且鞮侯单于。在返回汉朝的路途中，与匈奴境内的反叛军相遇，反叛军中的虞常与苏武一行人里的副使张胜相识。

虞常告之张胜，听说汉朝皇帝十分憎恨卫律，这次他们计划暗杀卫律，希望张胜向汉武帝说情，赏赐远在汉朝的母亲和弟弟。张胜欣然应允，而且还赠送了许多财物给虞常。

不过这次的刺杀行动被叛徒揭发了，虞常被抓。虞常招供出了张胜，于是且鞮侯单于便把正在返汉途中的苏武一行人给抓了，并要求苏武投降。

苏武不愿意失了气节，拔剑自刎，幸得匈奴医生救治。单于用苏武手下人的性命要挟苏武就范，但是苏武完全不吃这一套，绝不背弃汉朝归顺匈奴。单于越发想使苏武投降，就把苏武囚禁在大地窖内，不给他吃喝。天下雪，苏武躺在地上，以雪同毡毛一起吞下为食，几日不死。匈奴以为他是神人，就将苏武流放至北海（位于今俄罗斯西伯利亚贝加尔湖），让他放牧公羊，说等公羊生小羊才可回汉朝。