Trong khoảng thời gian cụ Phan về sống tại Bến Ngự, nhân dân cả nước đã đóng góp một số tiền khá lớn. ngoài khoản tiền cụ làm nhà ở tại bến Ngự, số tiền còn lại cụ đã nhờ người mua thêm một mảnh vườn ở đồi Quảng Tế, vườn rộng hơn 4000m². Năm 1934, cụ dựng bia quy ước nghĩa địa định rõ tiêu chuẩn những hạng người nào được chôn cất ở đây. Ngày 12/9/1939, Nguyễn Chí Diểu, Ủy viên Trung ương Đảng cộng sản Đông Dương bị bệnh mất tại Huế, cụ Phan đã đồng ý mai táng đồng chí Diểu ngay tại nghĩa địa của mình. Sau đó, trong nghĩa trang này còn đón nhận nhiều đồng chí thân cận và một số danh nhân như vợ chồng Cửu ca Trần Hoành, Nữ sử Đạm Phương, nhà văn Hải Triều, Liệt sĩ Lê Tự Nhiên, nhà thơ Thanh Hải...