孔子因未能進入晉國而做的第二件事情是，孔子從黃河岸邊返回到衛國，還是住在他的老朋友蘧伯玉家中。為了紀念和哀歎此次未能如願的晉國之行，據說孔子還專門創作了一首琴曲，名叫《陬操》，後人也稱《盤操》，或者叫《將歸操》，曲詞雲：“翱翔於衛，複我舊居。從吾所好，其樂隻且！”（《琴操》）這其中所表達的心誌，與孔子晚年的政治原則是一致的。孔子一生都盼望能有一個實現政治抱負的機會，但在孔子看來，他的政治原則比政治地位更重要。如果為了現在的政治利益而妨害了他的政治追求，孔子寧可“從吾所好”，保持原則的高尚性和純潔性，努力做到潔身自好。
當然，與孔子一生的其他許多事件一樣，曆史上也有一些不同的說法和記載。比如，有記載認為，當時是趙簡子派出使者，帶著玉帛之禮去聘請孔子赴晉國的。更有甚者，還認為趙簡子請孔子到晉國是一個更大的陰謀的一部分。那就是，趙簡子認為，在他奪取晉君權力，進而稱王天下的道路上，有三個人是他必須去除的障礙，即趙氏家族內部的竇犨，晉國公室的鐸鳴，還有魯國的孔子。於是，趙簡子先以討論政治為由，把竇犨、鐸鳴招來後殺掉。然後派出使者到魯國聘請孔子。在渡黃河的時候，晉國使者對船夫說，孔子上船之後，船行到河水中央就殺死他。幸虧在登船之前孔子突然想到了竇犨、鐸鳴之死，意識到趙簡子請自己到晉國可能是個陰謀，這才馬上做出決定，回車掉頭，沒有上船渡河，平安地回到了魯國。但是，這些傳說都充分說明，當時孔子的“臨河而歎”確實是激發了後人的無限思索和想像，以至於在山西晉城一帶還流傳著孔子在此地的一些故事以及“孔子回車處”等遺跡。
孔子雖然未能入晉，未能親自參與晉國的曆史進程，但這絲毫沒有減少他對趙簡子之政的關注。特別是對於趙簡子殺死賢臣竇犨的錯誤，孔子明顯耿耿於懷，並試圖親自加以糾正，這就是史籍中記載的孔子與一個背叛趙簡子的趙氏家族邑宰佛肸的一次沒有實現的交往。
《論語·陽貨》記載：
佛肸召，子欲往。子路曰：“昔者由也聞諸夫子曰：‘親於其身為不善者，君子不入也。’佛肸以中牟畔（叛），子之往也，如之何？”子曰：“然，有是言也。不曰堅乎？磨而不磷；不曰白乎？涅而不緇。吾豈匏瓜也哉？焉能係而不食？”
佛肸是趙簡子的家臣，當時擔任趙氏家族控製下的中牟地方的邑宰。在孔子時代，所謂“天下無道，則禮樂征伐自諸侯出……自大夫出……陪臣執國命”，（《論語·季氏》）諸侯篡奪周天子的權力，大夫篡奪諸侯的權力，陪臣篡奪大夫的權力，已經是司空見慣的事了。佛肸背叛趙簡子，與陽虎背叛季氏一樣，都是陪臣試圖奪取卿大夫權力的典型事件。根據《論語》的上述記載，佛肸邀請孔子加盟他的反叛趙簡子行列，而孔子一時間怦然心動，打算接受邀請。幸好有弟子們的強烈反對，使得孔子不得不冷靜思考這個行動的妥當性。雖然孔子找了些理由為自己的衝動作辯解，但孔子畢竟還是孔子，最終還是他的政治理性占了上風，並沒有加入佛肸反叛趙簡子的同盟。
但是，真正的問題不是孔子與弟子間的爭論，而是佛肸為什麼會邀請孔子加盟？與此問題相關的另一個問題是，這次叛亂和邀請發生在什麼時候？這是兩個密切相關的問題。
《史記·孔子世家》的說法是，趙簡子攻擊範氏和中行氏的時候，征伐中牟，中牟宰佛肸開始反叛，並派人召孔子。《世家》的這個說法，語焉不詳，並自相矛盾。很顯然，根據上述《世家》的說法，中牟並不是趙簡子的地盤，佛肸也不是趙簡子的人，既然如此，就不能說佛肸是“畔（叛）”趙簡子。這就說明，《孔子世家》記載中的有些文字有可能是作者想當然地加入的，並沒有仔細地斟酌關於《論語》的相關記載。