传说，轩辕黄帝要到具茨山去会见大隗[wěi]，半路上迷失了方向，遇到一个牧马的小孩，便向他问路。这小孩不但知道往具茨山该怎样走法，而且也知道大隗的住处。黄帝见他小小年纪，如此聪明，很是高兴，随口接着问道：“你什么都知道，可也知道怎样治理国家天下吗？ ”这个牧马的小孩说：“治理国家天下的事情，有什么了不起，难道和牧马有什么不同吗？也就是除掉一切对马群有害的东西罢了！”
《庄子•徐无鬼》讲了这个故事，那个小孩的这几句回答，它是这样写的：
牧马小童曰夫为天下者，亦奚以异乎牧马者哉？ 亦去其害马者而已矣！ ”
成语“害群之马”，就是从这里来的。不过，这句成语和《庄子》原文的意思，却有些不同。原文说的是“去其害马者”，而成语变作“去其害马”的意思了。我们现在习惯所说的“害群之马”，是说危害马群的坏马，用来比喻危害人群的坏人。
《淮南子•说山训》说“治国者，若耨〔nòu〕田,去害苗者而己。”这句话，和上述《庄子》的话是一样的意思。《汉书•卜式传》载，以牧羊致富得官的卜式对汉帝说，管理国事和牧羊一样，“恶者辄去，毋令败群。”这一句,倒和“害群之马”颇为相仿。
晋孙绰《游天台山賦》：“害马已去，世事都捐。” 唐髙適《饯寀八〔寀cǎi〕充彭中丞判官之嶺南诗》： “若将除害马，慎勿信苍蝇。”
现代作家杨沫《青春之歌》笫二部笫二十八章：“赶走害群之马的走狗！ ”