在英迪拉被刺九個小時之後，拉吉夫.甘地在印度總統府阿育王大廳宣誓就任總理。他是尼赫魯家族中的第四代，第三位總理，也是印度曆史上的第六任總理。
拉吉夫就任總理時，由英迪拉被刺造成的紛繁複雜的社會問題以及政治局麵更加危險和複雜。印度教徒開始對錫克教徒采取報複行動。在英迪拉被刺當天，印度教徒便在全國開始了報複性仇殺活動。拉吉夫宣誓就任總理後，強忍心頭的悲痛，對全國發表廣播講話，呼籲國民克製，不要讓感情蒙蔽理智。他說：“我們不能讓自己衝動起來，因為憤怒隻會導致犯錯誤。”
繼而他又提出要不惜一切維護國家的完整和國人的生命財產。與此同時，拉吉夫成立了中央控製中心並采取了嚴厲措施，下達了就地槍決製造混亂分子等命令。11月3日後，首都新德裏恢複了平靜，各邦也很少再出現騷亂。
12月24日，印度實行第八次大選。拉吉夫利用先輩留下的有利條件贏得了競選。拉吉夫就任後，為部長們製定了“有效率、廉正、出成果”三條標準。他一上台就製定了新的經濟政策，主要是減少國家的幹預、擴大市場的作用，吸收外國技術，提高經濟效率，促進生產。為了爭取和平的國際環境，拉吉夫在上台的頭三年中訪問了52個國家，平均每九天就有一天在國外。拉吉夫還卓有遠見的大力發展印度的計算機產業，多年後，他的這一舉動為印度在亞洲乃至整個世界的軟件領域贏得了先機。因此他也被人們稱作“計算機總理”。
拉吉夫.甘地上台之初可謂春風得意，但好景不長，很快便出現了危機。1987年，拉吉夫政府出現了在軍火交易中拿回扣的“博福斯”風波，嚴重損害了拉吉夫“廉潔先生”的形象。1987年反對黨由“博福斯”案發難，要求拉吉夫辭職，拉吉夫對此不予理會。接著12個反對黨的104名議員集體辭職以示抗議。8月30日，反對黨還發動了要求甘地總理辭職的總罷工。1989年10月13日，國大黨提出的兩項鄉村和城市地方自治的憲法修正案，在聯邦院因讚成的人數未能達到三分之一而被否決。
在這種形勢下，國大黨政府於1989年10月17日決定提前舉行第九屆大選。11月22日大選開始，26日大選結束。結果，國大黨僅獲得 193席，雖是人民院中的最大黨，但席位不到半數。拉吉夫在這種情況下表示，不願在國大黨在人民院的席位不到半數的情況下去組織聯合政府，並於11月29日正式提出辭呈。12月1日，維.普.辛格當選人民黨議會黨團領袖，次日就任總理。拉吉夫擔任了第九屆人民院的反對黨領袖。
2年後，拉吉夫.甘地率領國大黨卷土重來，並在舉行的大選中領先人民黨，極有可能贏得大選。但不幸的事情再一次降臨到甘地家族的身上。1991年5月，在一次印度南部舉行的競選集會上，一名女性泰米爾猛虎組織成員在向拉吉夫.甘地敬獻鮮花的時候引爆身上的炸彈暗殺了他。這年，拉吉夫.甘地才僅僅47歲。