鐵托離開奧古林時已經成為比以前更加激憤而又自信的共產黨人。他重新擔任工會組織工作，幹勁倍增，意誌堅定，決心在工.人運動中發揮領導作用。
］928年，鐵托又回到了薩格勒布，這是鐵托個人生活中的重要一年。他擔任了五金工人工會書記向時還當選為南共薩格勒布地方委員會的委員。然而，當時的共產黨並沒有把精力放在改善工人和農民牛活的鬥爭中，反而糾纏在右派同守派的派係鬥爭中、這場鬥爭較少涉及原則性問題，；而多是為了爭黨內的權力地地位多。人擔。。這場派係鬥爭會使共產黨、全國的工人階級以及他們的鬥爭遭受損失，他們堅決反對兩個派係。薩格勒布的黨組織進行激烈的討論，尋找方法把黨從派係鬥爭中拯救出來.他們認為應盡力隊組織工和政治卜米加強黨的組織，然後展開既反對有派又反對左派的鬥爭。1928年2月25日至26日早晨，在薩格勒市郊區的一幢小私宅裏召開了薩格勒布黨代表會議，有32人參加會議，共產國際也派來一名代表參加，人右兩派都有代表參加，鐵托是五金和皮革工會的代表。會卜，黨的七記作廣一‘份溫和的報告，對黨內分歧和黨的失敗輕描淡寫，一帶而過，化名為喬治耶維奇的鐵托代表一部分人發言，強烈要求撤銷這個報告，指出這個報告說的不是事實的真相，同時對派別活動等現象展開批評，要求致書共產Ijq際譴責左的與右的派別活動。他的演說得到支持，書Z的報公被撤銷.並成立新的地方委員會，鐵托擔任薩格勒布共產黨書記。
新的委員會立即開始工作。鐵托在傳統的工人節日“五一’令I織了聲勢浩大的示威遊行，顯示了工人運動的強大力量。數以千計的工人走上街頭，來到耶拉契奇廣場、薩瓦河大街、大劇院、薩格勒布市議會等地方，這次示威成為工人階級的一次大勝利。鐵托為了從警察手中救出一名工人，遭到逮捕，被以“不遵守秩序”的罪名關押了兩周。此後，他不得不采取措施避免再次被捕，他戴上黑眼鏡，蓄起小胡子，隨時改換裝束，從不在一個地方連過幾夜。
1928年夏大，薩格勒布的氣氛非常緊張。警察開始大規模地搜捕共產黨人和知名的煽動分子，鐵托兩次險些被捕。然而在1928年8月4日午夜，鐵托開完會回到葡萄街住宿的房間時，兩名便衣警察突然撲向他，將他的手緊緊綁住，送到監獄。鐵托被鐵鏈鎖著，受到審問，頭部、胸部、臂膀不時地挨打，以致有很長一個時期吐血。鐵托曾輕蔑地對警察說：“打一個被鎖著的人，你是多麼地有本領呀。”鐵托要求治傷，但是遭到拒絕，被關在警察局達3個月，警方一直拖延調查，再加上獄中的虐待，鐵托再一次進行絕食鬥爭，立即被轉到法院的獄中，並宣布審理他的案件。
警察仔細地準備了起訴材料，鐵托與其他5名犯人於1928年11月6日被帶到薩格勒布地方法院，由5名法官審訊。鐵托案是在11月7日11時開庭審訊的。在敵人的法庭上，鐵托大義凜然，公開演講、申辯，他義正辭嚴地說：“我不認為我有罪，因為我不承認這個資產階級法庭的權力。”當時一家地方右派報紙《新聞報》對這次審訊作了報道：
“關於共產黨人案件的審訊昨天在薩格勒布法院大廳裏繼續舉行。在聽取被告弗拉尼奧“諾沃塞利奇的供詞後，約瑟普·布羅茲被帶到庭上。毫無疑問，他是這次審訊中最使人感興趣的一個，他的麵孔使人聯想起鋼鐵。他的目光炯炯，透過眼鏡看來是冷酷的，但是有力的。在他的案件裏，他在法庭上的態度恐怕不僅僅是為了表示高傲而已，因為他早已受到控告，並因他的政治觀點而數度被判刑。人數眾多的旁聽者無疑知道他對他的信念是堅定的，因為在聽取他的供詞的整個過程中，法庭上～直保持寂靜無聲。”
在法庭上，鐵托據理力爭，11月14日宣布判決，鐵托被判處苦役5年。宣判後，鐵托被鐵鏈鎖著帶走了，他高呼：“南斯拉夫共產黨萬歲！第三國際萬歲！”《新聞報》對此判決作出了如下的評論：
“被稱作為投擲炸彈案的這次共產黨人審判案昨天結束了。在結束時，布羅茲的聲音再次在法庭上占了優勢。在判決宣布後，他站起來，麵對著那些已經站起來準備退出法庭的人數眾多的旁聽者大聲喊了三次：‘共產黨萬歲！’‘第三國際萬歲！’在法庭上當然會有不少他的同誌。可是。他的同誌們並沒有跟著他喊，盡管他們在心裏是在跟著他喊的。就這樣，這位不屈的共產黨員消失在監獄的高牆後麵，他就像一個船長在船快沉沒時發出口號一樣。”
自此，鐵托開始了漫長的鐵窗生活。1929年1月至1931年6月是在故鄉紮果烈邊境的萊波格拉瓦監獄，這裏的條件異常艱苦：水泥地，放著一張折疊的床，有一層薄薄的髒乎乎的褥子與兩條毯子；麵包粗劣，稀湯裏根本沒有豆粒……每天還得整理一籃子鵝毛。然而鐵托因為懂得機械知識，被派去負責管理獄中的小發電廠，還爭得了看書的自由。一年後，黨內傑出的知識分子莫薩·皮雅傑轉到這所監獄，他們一見如故，成為終生知己。他們懂得把牢房變為學校，變為黨校。他們設法通過刑事犯人從倉庫裏把書偷出來，以香煙作為酬勞，通過多種途徑，他們建立起自己的圖書館。同時還著手組織黨支部，選出由鐵托等3人組成的委員會，為監獄裏的許多年青共產黨員和黨的同情者及時建立了各種類型的學習班，幫助他們學習共產主義的理論。實踐和曆史，還教給他們讀和寫。鐵托選擇皮雅傑作管理監獄電站的助手，他倆一起閱讀和探討馬克思主義的理論問題。另外，鐵托負責供電，可以自由地在監獄裏到處走動，有時甚至可以到獄外去，他就利用這不可多得的機會設法與獄外的黨組織和朋友們建立聯係，以此獲得圖書和其他的必需品。鐵托曾多次與聯係人在獄外的一家飯館的樓上接頭。鐵托日後曾回憶說：“在外麵，統治者的鎮壓實際上破壞了我們黨的全部組織。這就需要我們這些在監獄中的人更好地利用時間。在黨被宣布非法時參加黨，因此缺少經驗和馬克思主義知識的青年人，為了將來的工作，特別需要訓練。我們以僅有的幾本書和有限的方法組織了學習和演講。”
然而由於一名犯人逃跑被抓了回來，告發了共產黨人的活動，獄中秘密的黨內生活不久即告結束，鐵托被指控為企圖組織逃跑，轉送到了南斯拉夫最壞的監獄——馬裏博爾監獄，關在一間臭氣衝天的隔離室裏。在這座監獄中還有其他的同誌們，他們之間設法互通消息、組織起來，並以絕食威脅，終於取得一些讓步。另外他還設法帶進來一些馬克思主義的書，特別是《反杜林論》。為了蒙蔽看守，常常把封麵撕掉，用允許看的書麵重新裝訂，曾用過《天方夜譚》的封麵裝飾馬克思主義經典著作。可是這裏的生活更糟糕，就拿臭蟲來說，捉不勝捉，它們藏在床板縫裏，用汽油來對付它們都是無用的，隻好把床板拆開，用燒紅的鐵絲來消滅它們。犯人的勞作是做紙袋，同房的8位同誌分工協作，流水作業，既節省了時間，又節約廣材料（紙、膠等）。房中的一切東西都共同享用，如果誰有一支煙，就用鉛筆在上麵劃分成4段，幸好有4位難友不吸煙，每個人都吸完自己的一段，但他R］認為最美的是煙頭，因此又決定輪流吸煙頭。時光流逝，5年的監獄生活即將過去，在刑滿的前一個月，鐵托請求留起頭發，縫做一套新衣服‘，得到同意。在1933年11月，鐵托終於脫下犯人服，然而典獄長通知他要補服1927年在奧古林第一次審訊時所判刑期未滿的三個半月，這是短暫的，多少令鐵托感到一些寬慰。
鐵托曾回憶道；“他們用了好多辦法企圖感化我。一次典獄長把我叫到他的跟前，問我為什麼不申請假釋。我回答說：‘假釋出獄意味著犯人悔過自新，至少表示他願意悔過。但是，我不願意放棄我的政治信仰，所以，我不想要求提前釋放。”’
1934年3月12日，鐵托在42歲生日前出獄，離開了陰森的、有圓頂塔樓的奧吉林城堡監獄，然而他並不是一個自由的人，必須呆在故鄉紮果烈，每天都得到當局報到。當鐵托第一天向鄉主席報到時，發現這位鄉主席約瑟普·朱拉克竟是他學生時代的朋友，他誇讚鐵托在獄中的表現，並暗示他不必天天來此報到。這樣，鐵托相對地又獲得自由。在鬥爭中成長起來的鐵托更加成熟，更加富有經驗，獻身共產主義事業的信念更加強烈了。鐵托決定前往薩格勒布，可是警察發現他從村裏消失了，馬上發出通緝令，鐵托不得不改變自己的容貌，留起胡子，戴上一副金邊眼鏡，同時還把頭發染成了紅色，另外又使用假名。在入獄前，曾用過“格立哥維奇”和“紮果拉克”的假名。“鐵托”這一名字就是從此開始起用的，起初很少用，到1937年才專用這個名字來發表文章。
鐵托在薩格勒布開始工作時，被選為省委員會委員，成為克羅地亞黨組織的領導人之一。然而當時黨的工作是很難開展的。薩格勒布的黨組織決定派鐵托前往維也納，設法建立一個靠得住的聯係方法。7月初，他穿著爬山用的靴子，背著帆布包出發了，翻山越嶺，跋山涉水，曆盡千難萬險，終於到達了維也納。同一位學色蕾舞的南斯拉夫姑娘取得了聯係，見到了中央委員會的委員們。鐵托向他們介紹了國內的情況，被增選人中央委員會。在1934年8月下旬，他接到籌備克羅地亞和斯洛文尼亞的黨代表大會的指一示，又按照原路線返回了南斯拉夫。
經過一個月的積極籌備，斯洛文尼亞地區的黨代表會議於9月15日至17日正式召開，有30名代表參加，會上決定：黨必須全麵進行活動以爭取工人階級的團結，並展開群眾的統一鬥爭來反對獨裁，爭取民主和民族權力。這次大會對開展革命鬥爭具有特別重大的意義。
會議結束後，鐵托又裝扮成普通的旅遊者，趕到維也納，出席了9月23日、25日和10月1日A日的會議，鐵托起草了關於共產黨員在獄中服刑期間的義務等幾份報告，他學會了寫任何黨內文件和黨內通訊所必用的公式化的語言。鐵托返回南斯拉夫，立即起草一份關於最近舉行的黨代會成果的報告。報告未寫完，有人給他帶去消息：亞曆山
大國王在1934年10月9日於馬賽被暗殺。南斯拉夫警察
加強保安措施.大肆搜捕政治嫌疑犯。中央委員會意識到鐵托的處境危險，指示他轉道維也納去蘇聯。他冒用一位捷克工程師的護照，擔心被警察辨認出。然而幸運救了他。在邊境檢查時，同車廂的一位婦女將孩子放在他的膝蓋上，恰好孩子撒尿，弄濕了他的新褲子，這種狼狽的情景分散了檢查員的注意力，沒有仔細檢查，便在護照上蓋了章。這樣他又平安抵達維也納，出席了中央委員會的一次會議。在12月鐵托參加由他籌備的在盧布爾雅那召開的第四次全南斯拉夫黨代表大會，被選為中央委員和中央政治局的成員。中央委員會派鐵托到莫斯科接受共產主義訓練，同時處理有關南斯拉夫的事務占在1935年2月鐵托出發去莫斯科。
艱苦卓絕的鬥爭實踐，鍛煉了鐵托，使他取得了豐富的鬥爭經驗以及領導南斯拉夫無產階級革命的經驗。在鐵托的周圍，團結了一大批有識之士，他們為在南斯拉夫實現社會主義積極奉獻著、戰鬥著！