衙当了一名射士，主要负责日常治安，同时也协助训练民兵，为抗金做准备。鲁山被金军攻陷之后，牛皋自行组织力量抗击金兵。

牛皋武艺高强，并且为人豪爽耿直，一声号令，应者云集，很快就拉起来一只数量庞大的队伍，他组织民众在现在的平顶山一带多次阻击敌人，对金兵进行了有力的打击。

历史上的建炎四年（公元30年），金军侵及江南，途经荆襄北归，完颜拔离速（蜀王银术可的弟弟）率领金军重新渡江，途经荆门北上，在四月初方进入平顶山一带。