前面介绍过，弥子瑕与卫灵公就是卫国版的“梁丘据与齐景公”。据说弥子瑕年轻时某次与卫灵公到桃林游玩，他摘下一个熟透的水蜜桃尝了一口，觉得味道妙不可言，于是亲手捧着桃子喂灵公吃下去。卫灵公边吃便夸道：“子瑕甚爱寡人。”
还有一次，弥子瑕接到母亲病重的消息，他在情急之下竟然驾着卫灵公的轩车连夜驶出帝丘。按照卫国法律，他应当被处以“断足”刑罚。但卫灵公不但没有惩罚他，反而夸他孝心满满。
但卫灵公却没有齐景公用情那么“执着”，弥子瑕年长色衰后，卫灵公就开始疏远和讨厌他了；而弥子瑕却浑然不觉，仍然按着以前的方式对待卫灵公。
孔子并没有因为弥子瑕与子路的亲戚关系而对他高看一眼；相反地，孔子十分讨厌他那令人作呕的外表和作派。不只有孔子，连弟子们都对那个人嗤之以鼻；子路也因此感觉在孔子面前抬不起头。弥子瑕既然从孔子这里讨不到好处，他就转而想要除掉孔子了。
不久前的某日，弥子瑕前来拜见卫灵公。卫灵公望着他那布满褶子却仍对他装出一副深情款款的无耻面孔，心里就如同翻江倒海一般。两人随便聊了几句，弥子瑕忽然说出一句“带有暗示”的话。如果在以前，卫灵公只会当做对方在调情，甚至会做出积极回应；但是那次他却怒不可遏，大骂弥子瑕：“你不但让寡人吃你的剩桃子，还偷寡人的车，寡人没有惩罚你已经是法外开恩。而你不但不悔过，现在又说出如此无耻之话。看寡人如何教训你吧！”
说罢卫灵公扬起抽出一根马鞭，劈头盖脸地向他抽去。弥子瑕大为震恐，触电般跳起来逃走了。
弥子瑕严重浸着委屈的泪水回到家中，他端起镜子一照，镜中的形象使屈辱感顿时烟消云散。他不禁开口骂道：“就你这老人妖，不抽你抽谁啊？”
弥子瑕害怕继续遭到卫灵公报复，一连数日不敢上朝。卫灵公问卿士孔圉：“寡人前几日教训了弥氏一顿，他是不是对寡人产生怨恨了？”
孔圉说：“君侯忘记先大夫史?的话了吗？”
原来十数年前卫灵公和弥子瑕之间也发生过类似的小恩怨，卫灵公也问过史?同样的问题。
当时史?说：“弥子瑕这货呀！哼！君侯没见过走狗吗？狗靠着主人豢养才能活着，主人发怒鞭打它，它就嚎叫着逃得无影无踪。但是狗敢怨恨主人吗？当然不敢。怕归怕，等到饿了，它自然会摇着尾巴回到主人身边讨食吃。君侯放心吧，他知道敢怨恨您就没有饭吃，所以很快就会回来的。”
果不其然，第二天弥子瑕就像上次一样，装作什么事也没发生过的样子进宫来了。其实他还想再躲几天的，但是突然听说卫灵公与孔子闹起矛盾，于是决定趁机把水搅浑，用加强卫灵公对孔子的怨恨来减轻他对自己的怨恨。卫灵公是个十分感性的人，当时他的兴奋灶都集中在孔子身上，加之弥子瑕换了副一本正经的嘴脸，所以他就不觉得弥子瑕有那么讨厌了。
两人聊着聊着就扯到孔子身上了，弥子瑕义正言辞地说：“孔丘的祖辈不容于宋国，所以才逃到鲁国。孔丘不敏，在齐国不得入仕（被晏子所阻止），在鲁国又不容于三桓。他打着‘教学’的幌子拼吃骗喝，又鼓吹什么‘回到西周’。西周还回得去吗？西周之时卫国土地只有方圆百里，如今却扩大到五百里；多出的土地难道要还给王室？就算归还，周王室能保得住吗？
“天下诸侯都在抢夺土地和人口，我们却要把得到的吐出来，那不是亡国之道吗？孔丘享受着公室的俸禄，可是他不但不为国家尽忠，反而干着破坏社稷的卑鄙之事。他一旦干成了、我的君侯呀，他正是在君侯的支持下毁掉国家的呀！君侯把孔丘留在卫国，就是在培养亡国大盗呀！三桓正是认识到这点，才驱逐了孔丘啊！”
卫灵公没料到孔子竟然是上天派来毁灭卫国的，他不禁吓出一身冷汗。卫灵公回忆起孔子在卫国这三年的所作所为，发现他确实有过很多对公室“不忠”的行为，比如他一直反对与晋国作战、反对扩充军力。
孔子在卫灵公心中温婉如玉的君子形象瞬间崩塌，取而代之的则是面目狰狞、似忠实奸的恶魔之相。
卫灵公尽管已经失去了对孔子的信任，但是长久以来聚集起来的崇敬之心却无法在短时间内消失殆尽。卫灵公打算效仿鲁定公采取的那种冷处理的方法来解决问题，他从此便开始刻意疏远孔子，凡有国家大事也很少请他参与商议。
孔子感到了卫灵公对自己态度的变化，也猜到了其中发生的原因；但是他仍对卫灵公抱有一丝希望，他仍相信自己能做些什么来改变卫灵公的主意——毕竟像卫灵公这样对他尊敬的君主可遇而不可求。
但是不久发生的一件事彻底击垮了他的信心，使得他下定决心离开卫国，继续踏上流亡之路。
初夏之时，卫灵公打算与孔子等大夫外出郊游。按卫灵公一贯的做法，他将与孔子同乘一辆轩车，夫人和大夫各自乘车跟在后面。但是这次则不然，卫灵公与夫人南子同乘轩车走在前面，孔子讪讪地坐在后一辆车里。
郊游结束后，孔子把弟子们召集起来说：“我从未见好色如好德的君主，而卫侯又尤为过分。卫国是呆不下去啦，我打算到陈、蔡去，你们愿意留在卫国还是跟我一起出发，自己决