同樣，監督要付出高昂的成本，這也使不少黨員心存顧慮。比如調查了解被監督對象的問題需要花時間；如果監督要求失實，可能要受到批評或處分等。最關鍵的是，監督的領導級別越高，受到打擊報複的可能性就會越大。
“根據相關規定，提出罷免或撤換要求，應當以書麵形式署真實姓名。”北京某機關一位黨委委員對記者說，“在目前‘一把手’權力缺乏約束、配套措施無法跟進的情況下，即使其不稱職，以書麵形式署真實姓名提出罷免或撤換要求，需要具有一定的勇氣和無畏的犧牲精神。”
這位黨委委員還直言：“罷免或撤換製度在各級地方委員會和紀律檢查委員會這個層麵難以推行，那麼在全體黨員中推行的話，阻力可想而知。很多人寧可采取匿名舉報的方式，因為這樣會少了很多風險和麻煩。”
在記者的采訪過程中，多位黨員幹部也表達了與其類似的看法和擔憂。
尚需更多配套改革跟進
不可否認，建立黨內罷免或撤換製度，是黨內民主製度建設的一個“大動作”，涉及黨內幹部選用、管理和監督等諸多方麵。這一製度的真正實施，需要黨內幹部製度的一係列改革與之配套。
在黃小勇看來，把黨內罷免或撤換製度製度化、機製化，要有改革創新的勇氣和膽略，因為現行的黨的代表大會製度、幹部管理體製等諸多方麵，仍存在著與建立這項民主製度的要求不相適應之處。
“黨內罷免或撤換製度，在各級地方委員會和紀律檢查委員會試點，其意義非常深遠。”黃小勇說，“這可為將來過渡到以黨的代表大會代表為主體，甚至以全體黨員為主體的黨內罷免或撤換製度探索經驗、創造條件。”
“當然，實施黨內罷免或撤換製度會遇到各種困難和問題。”黃小勇指出，“但這不能再作為延緩的理由，而應以實施黨內罷免或撤換製度為動力，加快有關方麵改革，進而為這項製度順利實施創造條件。”
“黨內罷免或撤換製度的實施，要貫徹黨員本位的原則，千方百計地調動全體黨員的積極性，使全體黨員都能參與。”李成言認為，“不能把參與人員的範圍僅僅限定在‘兩委’委員，而更應尊重黨員主體地位的原則。”在他看來，如果把廣大黨員拒之於外，就會嚴重削弱這項監督製度的有效性。“因為廣大黨員與‘兩委’委員相比，必然是貫徹實施這項監督製度的主體力量。”
針對目前存在的問題，李成言建議加快兩方麵的配套建設。“一方麵要建立對普通黨員權利的保護體係。比如，如何避免舉報者遭到報複，如何對舉報及罷免線索核實查處不受幹擾等。另一方麵要積極探索和推行黨代會常任製。因為隻有代表大會的權力行使日常化、製度化，罷免或撤換製度才有基礎。”
“可以改進黨代會閉會期黨的委員會委員、常委的決定方式。”許耀桐建議，“上級黨組織委任下級黨的委員會委員、常委，可以考慮不采取直接任命的方式，而采取上級黨組織提名，下級黨的代表會和委員會表決的方式。”
清華大學公共管理學院廉政與治理研究中心主任、北京市紀檢監察學會副會長任建明教授接受記者采訪時說，黨內罷免或撤換製度的實施，應給監督主體以必要的激勵。“有效的激勵是監督責任，特別是失職必究的規定。任何一個地方黨委或紀委，如果其中任何一個委員當期或後來被查出‘不稱職’、有違紀或違法行為，同期任職的所有委員都應承擔一定責任。這些責任的規定要具體、可操作。”
“有效的激勵還要有必要的獎勵。比如，可以在黨內製度中規定，敢於監督或將成為職務晉升、獲得表彰或加薪的重要因素等。”任建明說。
多位受訪專家認為，建立健全和完善的黨內罷免或撤換製度，是加強黨內民主的重要內容，也是促進黨風廉潔建設的重要措施，值得期待。同時，也應清醒地認識到，這項工作不但有緊迫性，而且極具創新性和挑戰性。