1981年1月，胡立教被中央派往上海工作，先后擔任中共上海市委第二書記兼市委政法小組組長、上海市人大常委會主任、中央顧問委員會委員等職，擔負起推進上海加快發展的歷史重任，寫下了革命生涯中新的一頁。

　1984年2月16日，陳國棟（左二）、胡立教（左三）陪同鄧小平、王震參觀上海市微電子技術應用展。

　　到上海工作后，胡立教全力配合市委主要領導開展工作，深入推進撥亂反正工作。對于中央關于為潘漢年、揚帆平反昭雪的決定及大批因潘揚案件株連遭到錯誤處理者的復查糾正善后工作，胡立教十分重視，在上海市紀律檢查委員會下成立了市委潘案落實政策清理小組，較快地糾正了潘揚冤案在上海造成的嚴重錯誤。

1980年代中期，胡立教陪同習仲勛（前排左二）視察上海。

　　在培養接班人方面，胡立教注重領導班子和干部隊伍建設，明確“定路子、選苗子、配班子”的工作思路，堅持干部“四化”方針，堅持走群眾路線，堅持公道正派，堅持不拘一格，培養選拔了一大批優秀年輕干部，為上海全面發展提供了重要的組織保證。

1980年代中期，胡立教與吳邦國參加少先隊活動。

    胡立教同志堅持黨對地方人大工作的領導，大力推進民主法制建設，把立法和執法監督作為地方人大常委會工作的重要抓手，認真履行職責，推動“一府兩院”改進工作。1986年，在上海市人大常委會主任胡立教支持下，青少年保護的立法工作被列入市人大常委會1986年—1987年的立法規劃。1987年6月，市人大通過我國第一部保護青少年的地方性法規《上海市青少年保護條例》。這個條例對保護青少年身心健康起到了促進作用。

1984年2月，鄧小平、王震視察上海，會見上海交通大學領導和部分教授。前排左六為鄧小平，左五為王震，左四為陳國棟，左七為胡立教。

　　胡立教具有很強的戰略眼光和改革開放意識，他在大量調查研究、找準制約上海發展瓶頸的基礎上，早在上世紀八十年代初期就向中央提出開發浦東的建議，并從大局出發，為爭取上海新的發展空間和政策不遺余力。參與決策制定《關于上海經濟發展戰略的匯報提綱》和《上海市城市總體規劃方案》，為上海改造、振興及上海的持續發展貢獻了智慧和力量。20世紀80年代中期，鄧小平在視察上海期間，和胡立教討論上海經濟能否“翻兩番”問題，胡立教為鄧小平準備了一份詳盡解釋能夠“翻兩番”理由的書面材料，得到鄧小平同志肯定。在1981年—1988年擔任上海領導工作期間，胡立教為上海加快改革和發展作出了重要貢獻。