秦始皇時期，秦朝在原秦、趙、燕三國舊長城的基礎上，修成一條西起甘肅臨洮、東到遼東碣石的萬里長城。地形復雜，工程浩大。有些地段確實是人力所不能為的。秦始皇為此非常懊惱。有一方士獻讒言說：“世間有一神鞭，能趕山填海，陛下如能得到此鞭，修長城工程就不在話下了。”秦始皇問如何能得到此鞭，方士獻計說：“陛下可下詔令各郡縣都鑿一石馬，命百姓趕之，趕不走石馬者，殺他全家，這樣一威逼，藏有神鞭者，就會獻出來了。”秦始皇照辦。這一下老百姓卻遭了殃了，各地被殺者無數(shù)。

那時霸州境內(nèi)有座高山叫臺山，大山高聳入云，綿延數(shù)里，山上樹木茂密，泉水潺潺。山下有一條東西走向的大河，直通大海。河邊住著十幾戶人家，半耕半漁，生活尚算自給自足。

就在秦始皇趕石馬、求神鞭的這年夏天，這里來了一個討飯的老婆婆，因為饑餓和天熱，暈倒在王存義家的門口。王存義的妻子劉氏出門看見，上前問詢，誰想老婆婆已不省人事，劉氏趕忙喊來左鄰右舍，不顧老婆婆渾身臟臭，上前用各種方法進行急救，老婆婆終于醒了過來。劉氏又拿來飯菜，一口口喂給老婆婆吃。待老婆婆飯飽之后，她就把老婆婆扶進自己家中，留她住了下來。給老婆婆洗了澡，換了衣服，一日三餐殷勤侍奉。

一天晚上，老婆婆把王存義夫婦叫到跟前說：“明天我要走了，這些日子你們對我這么好，我無以為報，我把我束腰的這條褲帶給你們留下，你們一定要好好保管著，以后會有用場的。”說著，解下了那條像鞭子一樣的腰帶，交給了王存義。夫妻二人正端詳那條褲帶呢，老婆婆卻眨眼不見了。

過了些日子，村里來了一隊官兵，抬著一個石馬。他們把村民集合起來，當官的給大家訓話：“皇帝有令，為修長城需要移山填海，你們誰家藏著神鞭，趕快交出來。”有人問：“什么是神鞭哪？”當官的就指著石馬說： “能趕走這匹石馬的就是神鞭。”

大伙一聽，紛紛議論，一匹石馬如何能趕得它走？當官的又說：“趕不走這石馬者滿門抄斬！”一時間全村人都嚇得渾身顫抖、低頭不語。

王存義猛然想起討飯的老婆婆留下的那條像鞭子一樣的褲腰帶，是不是那就是神鞭？全村人眼看大難臨頭了，不妨拿出來試試，也許能救下全村人的性命。王存義趕忙把那褲帶拿來，并在官兵的監(jiān)視下，掄起褲帶打那石馬。誰想他一鞭下去，那石馬就跑得沒影兒了。當官的大喜，搶過神鞭，為了他自己邀功請賞，就命令他手下的兵丁，把村民全部趕到臺山上。然后他掄起神鞭朝臺山打去，啪啪一連五鞭，這座大山登時拔地而起，忽悠悠向西北方向飛去，最后落到了山西境內(nèi)，就是現(xiàn)在的五臺山了。

臺山被趕走以后，只留下了一處臺基，后來有人又在臺基上建房安家，漸漸的形成了一個村莊。

這就是臺山村的來歷。