《后汉书·王符传》：“少好学，有志操……耿介不同于俗，以此遂不得升迁。志意蕴愤，乃隐居著书三十余篇，以讥当时失得，不欲章显其名，故号曰《潜夫论》。”后因以“潜夫”称隐逸之士。唐杜甫《将赴成都草堂途中有作先寄严郑公》诗之一：“五马旧曾谙小径，几回书札待潜夫。”清方文《从子子唯园中作》诗：“勿使衡门延俗客，每将疑义问潜夫。”