香港第一间大学香港皇家华人西书院(King s College in Hongkong)于1858年建立。1862年,香港皇家华人西书院改名为香港皇家书院(The Hong Kong College),在1865年再改名香港书院(Hong Kong College),提供普通教育及教师培训课程。学生毕业后可成为小学教师。
1887年,书院提供中学师范课程,毕业生则可任教中学。香港大学(The University of Hong Kong)的前身,香港医学书院(Hong Kong Medical School)于1887年开办。香港政府在1911年批准成立香港大学校董会。
到30年代时,校内只有2,200名中学生(1935年)及500名大学生。1940年,在太平洋战争后,大学的设施及课室变成收容所及医院。在战争期间,教授及学生人数减少。其中,大学医学院长克宁汉医生(Dr Arthur G. Cunninghame)在日军占领香港时殉职。而校园内的孙中山先生像亦被日军损毁。