“克己奉公”这句成语，是“克己”和“奉公”二语结合而成的。
“克己”是克制自己的意思。《论语·颜渊》载，颜渊有一次问他的老师孔子：人要怎样才算做到了“仁义”的“仁”字。孔子是主张为人处事、施政治国，都要把“仁”字作为重要的道德标准的。那次他对颜渊的回答，却很简单，只有一句话：“克己复礼为仁。”意思是说：能随时克制自己、约束自己，使处处合乎礼法，就可以算是“仁”了。——这就是“克己”一语的来历。
至于“奉公”，是奉行公事的意思。《史记·廉颇蔺相如〔蔺Iìn〕列传》介绍战国时代赵国的将军赵奢〔shē〕时,说了一段有关“奉公”的故事：
赵奢在赵惠文王时，当“田部吏”（经收田赋的官吏），他办事公平而严格。大贵族赵胜家里，仗势不缴租税，赵奢依法处理，连续惩办了赵胜的九个管家。赵胜大怒，下令把赵奢逮捕。赵奢说：“你身为赵国的贵族，竟然纵容管家，不奉公，不守法。这样国家就会衰弱，甚至灭亡。那时，你哪里还能保得住什么富贵？以你现在的地位，如能带头奉公守法，做到上下公平，那么国家就会强盛起来。国家强盛了赵氏的地位自然也就稳固了。”赵胜听了,觉得很有道理，并向赵王报告了这件事。赵王就命赵奢总管全国的租税，于是赵国府库充实，国家富强起来。后来，赵奢还被任命为将军，领兵援韩，大破秦兵。（参看1154页“纸上谈兵”）’
“克己”和“奉公”合为一句成语，是很有意义的。
“克己”，要求自己不计较个人的利益：“奉公”,维护集体的利益；“克己”才能奉公”，“奉公”必须“克己”。《后汉书·祭遵传〔祭zhài〕》载：“遵为人廉约，克己奉公。”这祭遵是汉光武帝的部下，初为门吏，后来屡次立功，拜征虏将军。此人为官清正，对自己严格要求，办公事认真不苟多生活俭朴，不治家产，临死还嘱咐丧葬必须力求简单。这在当时社会是很难得的。
“奉公”还常常和“守法”结合而为成语“奉公守法”。在《说苑·至公》作“奉公行法”，原文引春秋时楚国令尹虞邱子向楚庄王提出辞职，并推荐孙叔敖接任令尹时的一段话，其中有一句是：“臣闻奉公行法，可以得荣，能浅行薄，无望上位……。”