與楊名時相比，李衛人緣差得多。他對上司常常傲慢無禮，更是經常謾罵同僚、下屬。他無論到哪裏，和周圍人關係都很緊張；另外李衛平日行事高調張揚，在杭州任上，常常敲鑼打鼓到西湖邊的亭子裏，邊玩邊辦公。李衛玩得最為過火的一次是給自己“封神”，在修築湖山春社裏的“湖山神廟”時，李衛擅自廢掉了傳統的西湖花神，按照自己的模樣塑造成神像，自封為廟中正神——湖山神，總司花事。接著將他的十二個大小老婆也塑了像，分別立為十二月花神，侍立左右，一時民間非議很大。楊名時由於無意間泄漏密旨惹怒雍正，而李衛平日每有朱批折件，經常宣揚於眾，以此來顯擺自己和皇帝的關係，以便讓同僚們怕他。為此參劾李衛的人很多，可是對此雍正卻睜一眼閉一眼，還替他辯護“李衛長處勝其所短”。
在雍正看來， 楊名時是個思想複雜的官場老手，他在替皇上辦事的同時，總在有意無意塑造自己的形象，同時想著左右逢源。而李衛是個不懂官場潛規則的愣頭青，他不懂拉幫結派，這種人才能不折不扣地執行自己的政策。
“嘉許之懷，筆莫能罄……非深悉朕衷，毫不瞻顧，安肯毅然直陳。” 雍正在李衛的一本奏折上這樣批道，不知道同一時代，還有誰得到他這樣高的評價？
李衛雖然看似粗糙，但他其實能深悉皇帝的心思。在嗅到雍正準備打擊楊名時後，他第一個落井下石。雍正四年十一月二十日，李衛在密折中揭發了楊名時“徇私”、“欺罔”。就在同一天，當李衛的奏折剛剛從杭州上路時，雍正已經在北京下旨，稱楊名時“怙惡不悛，大奸大惡”。君臣之間如此心心相印，創造了一項心靈感應的奇跡。
後來經調查，李衛精心虛構的楊名時“四大罪狀”，很輕易都被推翻了。可見他雖然政治“意識”很到位，畢竟文化水平太低，其實對於楊名時這樣的清流，往往隻有從文字獄的角度才能打開突破口。不過所幸李衛沒這水平，客觀上沒有完成陷害忠良的任務，從而不至於讓自己留下過多的罵名。
《圍城》中三閭大學校長高鬆年，說過這樣一段話：“名教授當然好，可是因為他的名望……他有架子，有脾氣，他不會全副精神為學校服務，更不會絕對服從當局指揮。萬一他鬧別扭，你不容易找替人，學生又要借題目麻煩……找到一批沒有名望的人來，他們要借學校的光，他們要靠學校才有地位，而學校並非非有他們不可，這種人才真能跟學校合為一體，真肯為公家做事……在健全的機關裏，決沒有特殊人物，隻有安分受支配的一個個單位。教職員之於學校，應當像細胞之於有機體——”這位高鬆年或許說出了雍正，乃至曆史上許多“有為之君”的用人之道。這種理論很形象地解釋了為什麼雍正喜歡李衛，不喜歡楊名時。在雍正眼裏，李衛是個好細胞，楊名時則是個“病毒”。
雍正在位13年就死了，李衛的政治生命也隨之結束。
後來乾隆下江南，一次南巡到了杭州，知道湖山神廟中居然有李衛一家的神像，大為不悅，諭曰：“衛仰借皇恩眷，任性驕縱，初非公正純臣，名立廟，甚為可異！”命毀之。
不得不說，命運對於李衛這樣一個有一點心機的粗人很優厚。他做的壞事沒有形成很壞的結果；他做的荒唐事有人替他銷蹤滅跡；他的一些政績卻有當今文人替他添油加醋。於是李衛終於在兩百多年後，重新著名起來。