蘇武是漢武帝時的中郎將，出使過匈奴，被匈奴單于拘禁在北海邊牧羊十九年，寧死不屈。匈奴單于還曾把蘇武先后遣送到好幾個地方去牧羊，不讓他有一點與漢朝聯系的機會。傳說，現在的揚芬港就是當初蘇武放過羊的地方。

那時候，這里離海邊很近，荒無人煙，一年四季風雪不斷，十分寒冷。單于為了免除后患，就打算把蘇武活活餓死在這里，不但不給他吃的喝的，還挑選了一群骨瘦如柴的小羊羔，讓他放養，說如果不把這些羊羔養得膘肥體壯，就把蘇武殺死。

起先，蘇武沒有吃的就嚼氈毛，掘鼠洞里的草籽，渴了就吃雪，冷了就臥在那些小綿羊身邊取暖，蘇武始終沒有屈服。當時正是冬天，野地里只有一些剩下的干草根，羊群根本沒法活下去，眼看著小羊羔一天比一天瘦。

有一天，蘇武困了，剛想躺下來，發現身邊多了一只自己從沒見過的老綿羊，它滿身的白毛，沒有一根雜毛，可腦袋卻是黑的。老綿羊伸出舌頭舔了舔蘇武的手，轉身就走，蘇武很是奇怪，就在后面跟著，可是怎么也追不上，人快羊也快，人慢羊也慢。到了一塊土坡后面，老綿羊“咩咩”叫著，在原地轉了幾圈，不見了。蘇武左找右找，找不著，正納悶，聞見身邊有一股肉香。一回頭，見土坡上擺著烤熟的羊肉和干糧。蘇武忙沖天拜了三拜，知道這是神靈在保佑自己。

這天夜里，下了一宿的小雪。冰雪融化后，地上冒出小草。第二天蘇武醒來一看，自言自語說：“這草要是再長高一些就好了。”小草像能聽懂話似的，馬上又長高了好多，方圓幾十里的土地草木茂盛，任羊兒怎么吃也不見少，小羊羔漸漸地肥壯起來。單于覺很得奇怪，但沒一點辦法，就又把蘇武送到更加荒涼的北海邊牧羊。

蘇武走后，這里的羊糞已差不多堆積如山了。后來到了元朝，有位叫張保安的蒙古族人定居在這兒，開始有了人家，把這里稱為“羊糞崗”，成了揚芬港的前身。清末，一位叫張大壯的舉人曾在揚芬港舊街西頭天齊廟門前立過一塊石碑，上刻“蘇武牧羊之地”。當地人們逢年過節都要殺豬宰羊祭拜蘇武。

乾隆年間，乾隆皇帝南巡，乘龍舟游到“羊糞崗”，住在村東頭的行宮里。這里有護村河環繞東淀，蘆葦搖曳，荷花盛開，十里飄香，花香稻香彌漫在行宮內外。乾隆見此情景，稱贊說：“好一個太平昌盛村。”并沒有看到羊糞，覺得“揚芬”倒名副其實，立刻給這個村改名“揚芬港”。于是“羊糞崗”變成了現在的“揚芬港”。