五代时期，少林寺高僧福居邀集武术名手来到少林寺，请他们教僧人拳击之术。三年后，福居各取所长，汇集成少林拳谱。从此，该寺僧人开始练习拳术和棍术，达到高超的水平。后来，少林僧人为维护寺院不受社会战乱侵扰而建立了武装组织。

唐高祖武德元年（公元618年），李渊逼迫隋恭帝逊位，自己称帝。当月，原隋朝东都留守元文都与左武卫大将军王世充拥戴隋朝的越王杨侗，续称恭帝，年号皇泰，与李唐争天下。

次年，王世充废越王侗，自己称帝，立国号为郑。王世充拥兵河南嵩洛一带，并占据了原属少林寺的隋朝封地柏谷坞庄园，直接损害了少林寺的利益，并随时有可能危及全寺，因而激起全寺僧众的强烈不满。

武德四年（公元621年），秦王李世民率军讨伐王世充，不幸战败。在紧要关头，少林寺住持志操、昙宗等率僧兵突然出现，截断王世充的后路，并生擒王世充之侄王仁则，迫使王世充投降。

李世民为感激少林僧众，赐每人僧袍各一袭，赐该寺良田四十顷。他批准少林寺成立常备僧兵，自此少林武艺渐为天下追捧，而少林武僧也开始在历史舞台中占有特殊一席，少林僧兵成了政府特许存在的一支队伍。

到了明朝，少林僧兵达到两千余人，偶尔被政府调用抗击倭寇，顾炎武《日知录》称：“嘉靖中，少林僧月空受都督万表檄，御倭于淞江。其徒三十余人，自为队伍。持铁棒击杀倭甚众，皆战死。”

这名法号月空的僧人响应政府号召，率领三十多人奋勇抗击倭寇。后因误入倭寇的埋伏圈，全体阵亡。据称少林方丈闻讯后，带着一百僧兵赶来，口宣佛号，棒杀倭寇上千人。可见僧兵武艺出众，以一当十。

《僧兵首捷记》说：“僧兵骁勇，不以首级论功”，这支队伍在作战时，“暗约以靛青涂面，贼见青脸，红布蒙头，疑为神兵，胆已唬落。”

明朝有一位官军将领，对僧兵的武艺有所怀疑，于是设计了一次比武活动。他们派了八名武艺高强的大汉，持铁棍突袭一位僧人乘坐的孤舟。舟内的这位僧人手无寸铁，以衫袖迎击铁棍，一棍为袖所裹，僧人信手夺来，反击八人，八人应棍而倒。至此，该将领终于叹服。

因为僧兵武艺高强，“骁勇雄杰”，所以“官兵每临阵，辄用为前锋”。而僧兵一般使用的武器是铁棍，《倭变事略》载：某僧兵乃“手执铁棍，以古大钱贯铁条于中，长约八、九尺，重约三、四十斤”。僧人们舞动铁棍，“运转便捷如竹杖”，一击下去就会击碎对方头颅，“一贼舞双刀而来，月空坐不动，将至，身忽跃起，从贼顶过，以铁棍击碎贼首。于是诸贼气沮。”

除此外，僧兵也有防身甲胄，都是一些皮甲。所谓“密僱皮工造皮甲，竹工造毛竹甲。皮甲在内，竹甲在外”。

值得一提的是，僧兵毕竟是方外之士，他们在局势和缓之后，尽管建立了功勋，但往往不图富贵，而是选择离开。所以，当明朝扫荡倭寇获胜后，“当道莫与奏功，而仅赏银牌，退归山剎”。