5月1日，中國外交失敗的消息已見諸報端。特別是5月2日北京《晨報》發表了林長民的《外交警報敬告國人》一文，沉痛發出：“膠州亡矣，山東亡矣，國不國矣！”並說：“此噩耗，前兩日，仆即聞之。”林以大總統聘任之顧問等的特殊身分，證實了中國外交在巴黎和會上完全失敗的消息。它像一枚重型炮彈，重重地砸碎了當時人們普遍所抱的“公理戰勝強權”的夢幻。這時，蔡元培把挽救危局的希望寄托在愛國青年身上。當時北大的學生何思源曾回憶說：“五月二日，蔡元培在北京大學飯廳召集學生班長和代表一百餘人開會。他講述了巴黎和會帝國主義互相勾結，犧牲中國主權的情況，指出這是國家存亡的關鍵時刻，號召大家奮起救國。我參加了這次會，聽了他的講話，心情非常激劫”。5月3日，蔡元培從汪大燮（時任北京政府外交委員會委員長）處獲悉賣國的北京政府已決定要在巴黎和約簽字後，立即將這一消息，告訴了學生代表。
當晩，在北大法科禮堂召開全體學生大會，除北大一千多學生參加外，還有北京高等師範、法政專門學校、高等工業專門學校、農業專門學校等十二所中等以上學校的學生代表。由北大法科學生廖書倉任臨時主席，文科學生黃日葵、孟壽椿任記錄，許德珩被推舉起草宣言。大會先由《京報》主筆、北大新聞學研究會講師邵飄萍報告巴黎和會山東問題交渉失敗經過情形，他沉痛而激昂地向與會者大聲疾呼：“現在民族危機係於一發，如果我們再緘默等待，民族就無從挽救而隻有淪亡了。北大是最高學府，應當挺身而出，把各校同學發動起來，救亡圖存，奮起抗爭。”接著，北大學生張國燾、丁肇青、許德珩、謝紹敏以及其他各校代表夏秀峰相繼發言。個個義憤填膺，聲淚俱下。法科學生謝紹敏當場齧破中指，撕下衣襟，血書“還我青島”四個大字。全場氣氛悲壯激烈。當場通過四項決議：（一）聯合各界一致奮起力爭；（二）通電巴黎專使，堅持不在和約上簽字；（三）通電各省於五月七日國恥紀念日舉行愛國示威遊行；（四）定於次日（五月四日，星期日）齊集天安門舉行學界大示威。為籌備這次遊行經費，學生們將身上帶的銀元、銅板、戒指、手表、鋼筆等錢物，紛紛捐擲到台上。至“各校代表歸去預備後”，大會仍在繼續，“山東某君演說，略謂斷送國土主權，實曹賊等賣國之結果。章宗祥回國時，留學生高舉賣國賊之旗以送之，世人稱快。吾人對於曹賊，獨不能一泄胸之憤耶？……會眾掌聲與呼聲相雜，表示板端之讚成”。於是提出要求懲治出賣主權、簽定二十一條的交通總長曹汝霖，駐日公使章宗祥及經手各項賣國性借款的幣製局總裁陸宗輿。大會到深夜十一時方結果。
經過緊張的準備，5月4日午後，各校學生按預先商定的計劃向天安門出發。北大學生臨出發前，受到聞訊趕來的教育部代表及京師警察庁勤務督察長汪鴻翰等人的阻攔，經學生代表與其理論多時後，方衝破阻攔，整隊出發。三千多愛國學生齊集天安門，標語牌上書寫著：“誓死力爭”、“保我主枚”、“寧為玉碎，勿為瓦全”、“勿做五分鍾愛國心”，一副長方形白布寫的挽聯最為醒目：“賣國求榮，早知曹瞞遺種碑無字”；“傾心媚外，不期章惇餘孽死有頭”。北大學生謝紹敏三日晚血書的“還我青島”四個大字，也懸掛在天安門前。慷慨激昂的演說聲，悲憤激烈的口號聲，回蕩天空，人群中愛國情懷洶湧。大會通過了北大學生許德珩起草的《北京學生界宣言》。隨後又散發了《北京全體學界通告》（北大學生羅家倫起草）。北京大學學生憤怒地呼出了我們民族的心聲：
中國的土地可以征服而不可以斷送！
中國的人民可以殺戮而不可以低頭！國亡了！同胞們起來呀！
天安門大會後，愛國學生衝破反動軍警的阻撓，開始了遊行。在“還我青島”、“廢除二十一條”、“懲辦賣國賊”、“誓死不承認和約”的雄壯口號聲中，隊伍直奔外國使館區——東交民巷，向帝國主義者示威。遊行隊伍在東交民巷受阻後，即直奔賣國賊曹汝霖的住地，終於痛快淋漓地演出了一幕火燒趙家樓的活劇。這時反動軍警聞訊趕到，將未及走脫的三十二人捕去。其中有北大學生許德珩、易克嶷、楊振聲、熊天祉、梁彬文、李良驥、牟振飛、梁穎文、曹永、陳樹聲、郝祖寧、肖濟時、邱彬、江紹原、孫德中、何作霖、魯其昌、潘淑、易敬泉、林君損，共二十人。