下午3時許，曹、章回到了趙家樓胡同曹宅，由警察總監吳炳湘加派了200名警察到曹宅守衛。曹、章回到曹宅後，丁士源（親日派，陸軍部航空司長）和一個名叫中江醜吉的日本新聞記者也來了。他們都認為，學生們不至於有什麼暴烈行動；即使出現什麼行動，也會很快被武力驅散和製止的。
4時許，遊行的學生們呼聲震天，以排山倒海之勢，湧到了前趙家樓胡同（亦稱趙家樓胡同前街）的曹宅門前。
曹宅位置於趙家樓胡同，但其建築並非樓房（原曹宅現在已拆除）。根據曹汝霖本人之回憶，當時該宅分為東西兩院，西院均係中式房屋（包括大門及門房），東院則是一排西式平房，曹住東院。
學生到達趙家樓胡同時，曹宅內外，警察林立，門窗緊閉。學生們高呼：“賣國賊曹汝霖快出來見我！”當學生們叩擊大門時，周圍警察即上前阻攔，因而雙方發生爭執。學生們一麵和警察理喻，對其宣傳愛國思想，一麵繞屋而行，尋找破門之路。一些學生正在不得其門而入、準備分別退走的時侯，忽然一聲響亮，大門打開了。原來已經有人爬進曹宅，從裏麵把門打開了。一個首先衝進去的學生，回憶當時的情景說：當走到曹宅前麵的時候，大多數的學生都從牆外把所持的旗幟拋入牆內，正預備著散隊回校時，而那些預備犧牲的幾個熱烈同學，卻乘著大家狂呼著的時候，早已猛力地跳上圍牆上的窗洞上，把鐵窗衝毀，滾入曹汝霖的住宅裏去。這時曹汝霖宅內的十幾個全身武裝的衛兵，已被外麵的呼聲鼓掌聲所震駭，並且受了跳進去的同學的勇猛的感動，已喪失了用武的膽量和能力，隻得取下上好的利刃，退出裝好的子彈，讓繼續跳進去的五個同學從內麵把那緊閉重鎖的後門（按：一說就是前門）打開！後門打開之後，如鯽如鱗的群眾就一擁而入。
當學生們打進曹宅的時侯，曹汝霖、章宗祥迅速躲避起來了。學生們碰上了曹的父親和曹妾蘇佩秋，並沒有傷害他（她）們，而是令警察引出去了。曹在事後給徐世昌的呈文中，說什麼“生父就養京寓，半身不遂，亦被毆擊”，顯然是有意誣陷。曹汝霖在後來的回憶中，也不得不自打嘴巴地承認說：“對我雙親，承他們沒有驚動。”
曹汝霖、章宗祥躲到什麼地方去了呢？許多人以為曹已逃出曹宅了，有些人後來的回憶也這麼說。其實，這隻是一種推測之詞。現場的情況是，曹和章一樣都躲在曹宅裏，並沒有立即外逃。曹汝霖在他91歲的時侯，尚能清晰地回憶當時的情景：
我於倉猝間，避入一小屋（箱子間），仲和（即章宗祥）由仆引到地下鍋爐房（此房小而黑）。這箱子間，一麵通我婦臥室，一麵通兩女臥室，都有門可通。我在裏麵，聽了砰然一大聲，知道大門已撞倒了，學生蜂擁而入，隻聽得找曹某打他，他到哪裏去了。後又聽得砰砰蹦蹦玻璃碎聲，知道門窗玻璃都打碎了。繼又聽得磁器擲地聲，知道客廳書房陳飾的花瓶等物件都摔地而破了。
後又打到兩女臥室，兩女不在室中，即將鐵床的杆柱零件，拆作武器，走出了女兒臥房，轉到我婦臥房。我婦正鎖了房門，獨坐房中，學生即將鐵杆撞開房門，問我在那裏。婦答，他到總統府去吃飯，不知回來沒有……我在小室，聽得逼真……我想即將破門到小屋來，豈知他們一齊亂嚷，都從窗口跳出去了，這真是奇跡。
上述這段回憶，除對學生愛國行動有些攻擊、憤激之詞之外，所述過程，還是可信。由此可見，說曹當時已逃出宅外，是不確的。
4時30分，曹宅火起。起火的原因，有四種說法：
（一）學生放的；
（二）曹的家屬放的（企圖驚散群眾）；
（三）電線走火；
（四）曹的仆人放的（乘亂竊物，放火滅跡）。根據許多當事人的回憶，大致可以肯定，第一種說法是正確的。學生們遍尋曹汝霖不著，憤激之中，焚毀其住宅，是合乎當時的情勢的。正如第一個衝進曹宅的北師大學生匡互生所說：“因為他們到處搜不出那確實被大家證明在內開會未曾逃出的曹汝霖、陸宗輿（按：陸未在曹宅）、章宗祥，隻得燒了他們借以從容商量作惡的巢穴，以泄一時的忿怒。”
放火的學生是誰呢？據一位和匡互生共同參加五四運動的目擊者回憶，正是匡互生本人，他說：“學生群眾走進曹宅，先要找賣國賊論理，遍找不到，匡互生遂取出預先攜帶的火柴，決定放火。事為段錫朋所發覺，阻止匡互生說：‘我負不了責任！’匡互生毅然回答：‘誰要你負責任！你也確實負不了責任。’結果仍舊放了火。”另一個回憶也說道：“放火的人也就是那位跳窗戶開大門的某君（即指匡互生）。”還有的回憶到火起的具體情況說：“群眾找不著曹汝霖更加氣憤，有人在汽車房裏找到一桶汽油，大家喊著‘燒掉這個賊窩’。汽油潑在小火爐上，當時火就燒起來了”。曹汝霖的回憶，也和這一情況大體相同：學生們“後到汽車房，將乘用車搗毀，取了幾筒汽油，到客廳書房澆上汽油，放火燃燒。”另一位放火的目擊者回憶說：“我行至曹家門外，看見穿著長衫的兩個學生，在身邊取出一隻洋鐵扁壺，內裝煤油，低聲說‘放火’。然後進入四合院內北房，將地毯揭起，折疊在方桌上麵，潑上煤油，便用火柴燃著，霎時濃煙冒起。我跟在他們後麵，親眼看見。大家認得他倆是北京高等師範（北京師範大學前身）的學生。”
關於章宗祥的被學生毆打，是在火起之前，或是在火起之後，看來有兩種不同的說法：火起之後說。如曹汝霖回憶：“仲和在鍋爐房，聽到上麵放火，即跑出來，向後門奔走，被學生包圍攢打。他們見仲和穿了晨禮服，認為是我，西裝撕破。有一學生，將鐵杆向他後腦打了一下，仲和即倒地……適日友中江醜吉聞訊趕到，見仲和倒在地上，他亦認識，即推開學生，將仲和連抱帶拖，出了後門，藏在對麵油鹽店，把門而立，說日本腔的中國話，這是我的朋友，你們要打即打我，我不怕！他雖知自衛之法，亦已受鐵杆打傷多處，臂背紅腫，經月餘才愈。”白歧昌的報告中也說：“至4時30分忽見該宅火起，駐日公使章宗祥偕同日本人中江醜吉，在曹宅門前被學生毆打，負傷，由憲兵及警察極力保護，未致生有他虞。”和匡互生一起參加運動的那位同學，也作了大體相同的回憶：“當學生正在宅內肆意搗毀，房屋也已燃燒起來的時候，我們看見有幾個警察和許多傭人圍護著一個老太婆和一個年輕女子慌張出來奪門而去，因為她們不是曹章陸，我們就放走了，據說這個老太婆是曹母，年輕女子是曹妾李佩秋（按：應為蘇佩秋）。我們又見幾個警察和許多傭人圍護著兩個穿西裝的中年男子逃出去，許多學生跟著追趕，見他們逃進一個小雜貨店內，就把這二人拖出來推倒在地，用手執的小旗杆子對著當頭亂打，打得一個人頭破血淋，另一個人寧願自己挨打，拚命保護他。不久大隊警察趕到，一齊舞起木棍和指揮刀來驅散群眾；我們也恐怕打錯了人，不是賣國賊而是日本人，因而鬆了手。到明天報上一看知道被打得頭破血淋的正是賣國賊章宗祥，而拚命保護他的是一個日本人，大家懊悔不止。”