有苦难言，却不知该如何提及，他本是太宗十八学士之一孔颖达之子，六岁就学过目不忘，被父亲孔颖达视为奇才，其后孔颖达为国子监祭酒，孔志亮近水楼台先得月，整日倘佯在国子监的万千学问中，二十四岁考中进士入仕，先后担任兰台校省主书、太学博士等职，最后以吏部考功郎中之职主司科举，可谓春风得意。

其后，他调任中书省任舍人，这中书舍人共有六人，掌朝廷制诰执笔草诏，政令文稿撰写多由其出，非文采名重天下者不能担任。

可惜这几年圣人体弱病多目不能视，武后垂帘听政二圣临朝，皇权日渐旁落，武后大肆培植亲信，以弘文馆直学士刘祎之、著作郎元万顷为倚重，时奉诏于翰林院草制，密令参决，以分中书门下二省之权，中书舍人渐渐形同虚设。

孔志亮眼见朝局昏暗牝鸡司晨，去岁一怒之下竟是辞官不做，挂冠而去应老友之邀来到了江宁县，这江宁地处江东风景优美，加之又是六朝古都，让生平几乎从未离开长安的孔志亮生出了隐居之心，结草为庐蛰居在江宁城东南的横望山上，整日与老友下棋为乐，不时还看一个兵蛮子的笑话，倒也乐得其所。