Oorspronkelijk stond hier een buitenverblijf dat Gouverneur-generaal Van Imhoff in 1745 had laten aanleggen. In 1856 werd het buitenverblijf vervangen door het huidige paleis. tiijdens de Engelse bezetting liet Luitenant-Gouverneur Thomas Stamford Raffles een tuin aanleggen door Engelse tuinontwerpers. In die tuin liet hij een monument bouwen voor zijn eerste vrouw.
Na de Engelse bezetting werd de nieuwe Nederlandse Gouverneur-generaal baron Van der Capellen benoemd. In zijn gezelschap reisde de Duitse botanicus Caspar Reinwardt mee, de stichter van de botanische tuin. Maar los van de tuin is er ook een klein kerkhof, waar diverse notabelen begraven liggen, omringt door een bamboebosje.
Kebon Raya is te bezoeken, bekijk hun website voor meer informatie.
Het huidige adres is: Jl. Ir. Haji Djuanda No.13, Paledang, Bogor Tengah, Kota Bogor, Jawa Barat 16122, Indonesië