这个故事是说，古时候，有一个名叫公明仪的音乐家，他精于乐理，善于弹琴。有一次，公明仪看见一头牛正在那里吃草，便操起琴，高兴地为牛弹起幽雅的清角之音来。可是，那头牛不顾琴声多么幽雅，依然低头吃草，无动于衷。不是牛没有听见，而是牛不感兴趣。公明仪试着另外弹出几种琴音，有的嗡嗡的像蚊蝇声，有的哞哞的像小牛的叫声。这时，牛竟摇摇尾巴，竖起耳朵，缓缓地转身走了几步，像是听懂了。

要能听懂琴曲，欣赏高雅的音乐，本是不简单的。古时善于弹琴的乐师，往往都抱怨“知音”难遇。而牛，怎么能知音呢?后来，便引出“对牛弹琴”这一成语。《续灯录・汝能禅师》有：“对牛弹琴，不入牛耳。”指说法不对根基，就达不到预期效果。

后来人们常用“对牛弹琴”一语来讥笑说话的人不看对象。现在多比喻对不懂道理的人讲道理，对外行人说内行话。