1904年，张伯苓赴日考察教育，同年10月17日，将家馆改建为敬业学堂。1907年，在天津城区南部的开洼地，即民间所称“南开”，建成新校舍，遂改称南开中学堂，从此声名渐著，天津市南开区也由此得名。1917年秋赴美国，入哥伦比亚大学研究教育，次年回国，着手筹办南开大学。南开大学创办伊始就建立了理科。那时北京、上海开创许多私立大学，都是只办文、法、史、地、国学等文、法科，教师抱的是线装书去上课，而张伯苓专请留美多年的凌冰博士为大学部主任，除开设文科，还设理科和商科，后来改称文、理、商三个学院。这在当时也是十分难得的。
南开大学的兴办和发展，对张伯苓来说，并不意味着兴办教育的终结。1923年他建立了南开女中。接着在1928年，又兴致勃勃地在女生校舍对面建筑小学校舍，设立了小学部。在兴建及完善女中和小学之后，张伯苓分别于1927年和1932年创办了南开经济研究所和应用化学研究所，从而构成了一个完整的南开教育体系。
