Chắc là voi có thời gian giữ xe cho thiên hạ sau đó thấy voi bị chìm trong mớ xe cộ ở cái không gian chật chội giữa đền Hùng và cổng nên người ta quyết định dời qua chổ mới, Chổ này trước đó là một hồ nước như trong hình
Cũng ở khoảng vị trí đó khoảng năm 1790 đến 1794 Nguyễn Ánh (vua Gia Long) đã sai xây ngôi nhà gỗ gọi là dinh Tân Xá để làm nơi giám mục Bá Đa Lộc ở và dạy hoàng tử Cảnh học.
Năm 1861 khi người Pháp quyết định làm thảo cầm viên trên khu đất này thì tòa giám mục cho dời dinh Tân xá đi và ngôi nhà nguyện đó vẫn còn tồn tại đến ngày nay.