秦始皇時(shí)期，秦朝在原秦、趙、燕三國(guó)舊長(zhǎng)城的基礎(chǔ)上，修成一條西起甘肅臨洮、東到遼東碣石的萬(wàn)里長(zhǎng)城。地形復(fù)雜，工程浩大。有些地段確實(shí)是人力所不能為的。秦始皇為此非常懊惱。有一方士獻(xiàn)讒言說(shuō)： “世間有一神鞭，能趕山填海，陛下如能得到此鞭，修長(zhǎng)城工程就不在話下了。”秦始皇問(wèn)如何能得到此鞭，方士獻(xiàn)計(jì)說(shuō)： “陛下可下詔令各郡縣都鑿一石馬，命百姓趕之，趕不走石馬者，殺他全家，這樣一威逼，藏有神鞭者，就會(huì)獻(xiàn)出來(lái)了。”秦始皇照辦。這一下老百姓卻遭了殃了，各地被殺者無(wú)數(shù)。

那時(shí)霸州境內(nèi)有座高山叫臺(tái)山，大山高聳入云，綿延數(shù)里，山上樹木茂密，泉水潺潺。山下有一條東西走向的大河，直通大海。河邊住著十幾戶人家，半耕半漁，生活尚算自給自足。

就在秦始皇趕石馬、求神鞭的這年夏天，這里來(lái)了一個(gè)討飯的老婆婆，因?yàn)轲囸I和天熱，暈倒在王存義家的門口。王存義的妻子劉氏出門看見(jiàn)，上前問(wèn)詢，誰(shuí)想老婆婆已不省人事，劉氏趕忙喊來(lái)左鄰右舍，不顧老婆婆渾身臟臭，上前用各種方法進(jìn)行急救，老婆婆終于醒了過(guò)來(lái)。劉氏又拿來(lái)飯菜，一口口喂給老婆婆吃。待老婆婆飯飽之后，她就把老婆婆扶進(jìn)自己家中，留她住了下來(lái)。給老婆婆洗了澡，換了衣服，一日三餐殷勤侍奉。

一天晚上，老婆婆把王存義夫婦叫到跟前說(shuō)： “明天我要走了，這些日子你們對(duì)我這么好，我無(wú)以為報(bào)，我把我束腰的這條褲帶給你們留下，你們一定要好好保管著，以后會(huì)有用場(chǎng)的。”說(shuō)著，解下了那條像鞭子一樣的腰帶，交給了王存義。夫妻二人正端詳那條褲帶呢，老婆婆卻眨眼不見(jiàn)了。

過(guò)了些日子，村里來(lái)了一隊(duì)官兵，抬著一個(gè)石馬。他們把村民集合起來(lái)，當(dāng)官的給大家訓(xùn)話： “皇帝有令，為修長(zhǎng)城需要移山填海，你們誰(shuí)家藏著神鞭，趕快交出來(lái)。”有人問(wèn)： “什么是神鞭哪？”當(dāng)官的就指著石馬說(shuō)： “能趕走這匹石馬的就是神鞭。”

大伙一聽(tīng)，紛紛議論，一匹石馬如何能趕得它走？當(dāng)官的又說(shuō)： “趕不走這石馬者滿門抄斬！”一時(shí)間全村人都嚇得渾身顫抖、低頭不語(yǔ)。

王存義猛然想起討飯的老婆婆留下的那條像鞭子一樣的褲腰帶，是不是那就是神鞭？全村人眼看大難臨頭了，不妨拿出來(lái)試試，也許能救下全村人的性命。王存義趕忙把那褲帶拿來(lái)，并在官兵的監(jiān)視下，掄起褲帶打那石馬。誰(shuí)想他一鞭下去，那石馬就跑得沒(méi)影兒了。當(dāng)官的大喜，搶過(guò)神鞭，為了他自己邀功請(qǐng)賞，就命令他手下的兵丁，把村民全部趕到臺(tái)山上。然后他掄起神鞭朝臺(tái)山打去，啪啪一連五鞭，這座大山登時(shí)拔地而起，忽悠悠向西北方向飛去，最后落到了山西境內(nèi)，就是現(xiàn)在的五臺(tái)山了。

臺(tái)山被趕走以后，只留下了一處臺(tái)基，后來(lái)有人又在臺(tái)基上建房安家，漸漸的形成了一個(gè)村莊。

這就是臺(tái)山村的來(lái)歷。