潘了拳一生留下許多許多神奇傳說故事，下面是其中的一二：
相傳潘了拳出世時，左手抱拳不張，其父取名為「拳」。三日後，恰好有一僧人過其家門，其父抱潘拳示僧，小潘拳啼哭不停，十分可憐。僧人細細審視之後，連聲念「阿彌陀佛」，取筆在潘拳手背上寫一「了」字，拳即張開，遂又取名「了拳」。潘父欲謝僧人之恩，僧人不受。其時祥雲蓋頂，金光萬道仿若神佛降世，並說：「此兒長大後必有長進，要好好照料。」臨別時嬰兒對他莞兒一笑，僧人道：「十七年後再見。」又說：「他會在陰那山五指峰開基、造化得道。」說罷而去。
據說，他在童年時期就曾顯神通，有一次，他對幾個牧牛的小夥伴說：「你們想到外地去遊玩嗎？」大家都說：「好」。了拳便以一竹葉在地上劃了一個圓圈，讓這些牛在原地不動。又說：「你們閉著眼睛，跟我一起走。」說罷，這些小夥伴真的到外地遊玩去了，大家心裏樂滋滋的。遊玩幾日回來時，了拳問小夥伴，「你們看看牛兒吃得飽嗎？肥嗎？」果然還是在劃定的圓圈裡面，照樣吃得飽飽的，長得肥肥的，因此大家都感到很神奇。
潘了拳十七歲出家為僧，離開福建，來到廣東省大埔縣赤潔寺住了半年之後，又到三河壩手指村高礤寺拜師，並下決心再度出遊訪勝。一日，他西望梅縣陰那山五指峰，有如拳伸五指，直插雲端，觀此處森林茂密，千峰環繞，碧水縈迴，便決心到五指峰下結茅修行。陰那山當地有兩種特有水生物「片生熟魚」和「無篤螺」的來歷也據說和潘了拳有關。
據說當年在庵裡做工的人，從溪中捕到鮮魚，正在廚下煎煮，適為潘了拳發現，了拳和尚認為殺生有犯僧戒，即勸工人將鍋裡正在煮著的魚鏟起放回溪中，而已煎煮一面的鮮魚居然起死回生，相傳繁殖。魚身兩面，一面呈白色，和普通的魚一樣；另一面則為赤色，儼如經過鍋裡煮熟後的色澤一般。可惜這種半邊白半邊赤的小魚由於人為捕捉在陰那山小溪中很難見到了。（註：片生熟，是客家方言，意即「半生半熟」。）
還有一次，適有十方善信來寺進香，拾得溪中石螺作為佐菜。他們把螺敲去尾部後，正要下鍋之際，被潘了拳發現，步前正言說「信佛人要戒殺生」，善信遵聽奉勸，便將石螺放回溪中，繁衍至今。從此，無篤螺成陰那山的一種富有特色的水生物。（註：「無篤」是客家方言，意即沒有尾巴。）
潘了拳在陰那山修行20多年，為當地人民祈福禳災，功德無量。但他感到自已不能弘揚佛法，心中實為內疚，自號「慚愧」。49歲坐化之時，遺下一偈云「四十九年，無系無牽。今朝撤手歸空去，萬里雲開月在天。」他圓寂後，人們尊稱其為「慚愧祖師」。
潘了拳去世後，後人將茅屋改為磚瓦建築，他的弟子欲刻師父的像。但當時還沒有照相技術，其生前又未留下畫像，雖然聘得高手匠人，亦無從下手。據說，一天中午，匠人在似睡非睡之中，見一老僧來到面前，對他說你欲刻祖師的像，看看我就可以了，匠人正欲多看老僧幾眼，忽起一陣清風，老僧不見了，匠人驚醒過來，隨即拿起刻刀，回憶夢中所見老僧相貌，一刀一刀的刻下下來，寺中老和尚見了，說果然活像祖師。此後，慚愧祖師便在聖壽寺登殿，受善男信女膜拜，承受人間香火。
了拳逝世後，也屢顯靈異。有一年，有潮州人士慕名到陰那山拜謁祖師，私下將真身塑像帶往潮汕禱雨，事後，遲遲不願歸還寺殿，兩地與之訟爭，等到州官下判，把塑像放在船上，對塑像說，如祖師欲留，則當順流而下，否則當逆水而上。話語未完，其舟果然逆流而上，爭端遂了。
潘了拳創建的靈光寺也有兩件不解之謎：
第一：靈光寺大雄寶殿後面山上綠樹繁蔭，但大殿屋頂上卻沒有一片樹葉，這究竟是什麼原因？至今沒有答案。
第二：建寺之前潘了拳親手種了兩棵柏樹，樹齡達一千一百年以上，現在這兩棵柏樹一生一死。生者高30多米，枝繁葉茂，傲然挺立；那株枯死的已死了三百多年，卻與生的那株幾乎同樣高大，枯死而不腐不朽。這兩棵樹被人稱為「生死柏」。眾所周知，廣東省氣候潮濕，何以三百年前的死樹歷經風摧雨打，日晒雨淋卻不腐不朽？
