A Fűvészkertben álló régi épület már jóval a kert kiépítése elött is itt állt. Még egy szerény földszintes épületként kezdte a XVIII. században, majd Pollack Mihály tervei alapján 1802-ben vadászkastéllya alakították. Végül az ELTE (akkor még Pesti Egyetem néven) József nádor támogatásával megvette ezt a területet a Festetics családtól, hogy botanikus kertté alakítsák. De a villát meghagyták. Jelenleg a kert igazgatósága működik benne.
