相傳在武當山上帝廟尚未建廟之前是一大片清翠的草原，平時有位牧童多會騎著牛到此地來放牧，年紀雖小卻很聰明，每於放牧時與群童玩戰爭遊戲,其行兵佈陣儼然如孫武子之兵法,隊伍整齊,進退有序;分兩方列陣對仗,手持竹杖,牧童自任一方之統帥,每戰必勝對方,於是群童皆服於其本領,時日一久,逐稱為神童，其領導統御方面的才能，深受所有孩童的敬重與肯定，於是大家服其本領，平時均聽其指揮。
不過命運總是捉弄人，牧童並沒有等到長大成人即遠離人間，在其過世之前，他希望死後能靜靜地躺在昔日的草地上，默默地守候著這一片淨土，庒民為了思念牧童，於是就將他埋葬在平日放牧的草地旁，日後相傳牧童已歸天為神，更建廟以為紀念之義，就是現在的「童子軍廟」。
據當地耆老傳說：「現在童子軍廟，正確位置應該是武當山廟位置，蓋因傳說此地山川壯麗、風光明媚，實乃鍾靈毓秀之香火盛地，經玄天上帝與牧童交涉協商，最後由上帝公爭得基地改建為武當山廟」，廟宇建好之後，先民不願見牧童沒有香火廟地，於是請求上帝公另擇吉地建廟奉祀之，遂成現今之童子軍廟。地址：台南市歸仁區武東里武東一街181號