Theo bản ký kết đồng minh Nhật - Pháp, Chính phủ Nhật Bản đã chấp nhận yêu sách của Chính phủ Pháp. Mùa thu năm 1908, Chính phủ Nhật ra quyết định giải tán du học sinh Việt Nam. Theo đó, nhiều du học sinh Việt Nam đã rời khỏi Nhật Bản.
Những du học sinh còn lại được Phan Bội Châu đùm bọc, hỗ trợ dẫu ông chỉ còn hai bàn tay trắng, sống cuộc cùng cực. Trong lúc phong trào Đông Du đối mặt với tình trạng tan rã, người viện trợ cũng dần dần không còn, nơi cho vay tiền cũng không có, Phan Bội Châu không còn cách nào khác phải nhờ cậy đến Asaba Sakitaro, nghĩ vậy ông liền bàn bạc với người đồng chí Nguyễn Thái Bạt (Nguyễn Thái Bạt lúc ngã gục trên đường được bác sĩAsaba Sakitaro giúp đỡ sau đó làm thủ tục nhập học vào trường Tokyo Dobun Shoin và chi trả luôn học phí).
Phan Bội Châu cho đến lúc bấy giờ, mặc dù ông chưa một lần nào, dẫu chỉ là thăm hỏi, đáp lại lòng tử tế của Asaba, vậy mà lại yêu cầu giúp đỡ, ông cảm thấy hổ thẹn và khổ tâm. Tuy nhiên, không còn cách nào khác, ông đành viết thư kể tình trạng khốn quẩn và giao phó thư cho Nguyễn Thái Bạt. Bức thưsáng mang đi đến chiều đã có hồi âm. Và trong thư có kèm theo một số tiền lớn 1.700 yên. Trong bức thư đó chỉ ghi đơn giản: “Tuy ít nhưng nhặt nhạnh trong nhà chỉ còn có thế, tạm thời gởi trước. Hãy dùng đỡ trong một thời gian. Lần sau nếu báo cho tôi được, tôi sẽ làm những gì có thể làm được”.
Tháng 3 năm 1909, Cường Để và Phan Bội Châu bị Chính phủ Nhật Bản trục xuất ra khỏi nước. Lúc này, Phan Bội Châu đã gởi thư cho Bộ trưởng Ngoại vụ Komura Jutaro vì ông cảm thấy bất mãn với lệnh trục xuất. Hiện nay bức thư được bảo quản tại nhà tư liệu của bộ Ngoại vụ. Bức thư có chiều dài 3 mét với 3.000 chữ với nội dung: “Chính phủ Nhật Bản hiện nay không phán đoán dựa theo công lý, chỉ tuân theo yâu cầu của người Pháp là kẻ mạnh. Hạ thấp người Châu Á. Tôn thờ bọn da trắng, chà đạp người Châu Á. Thái độ như vậy thật là một điều hổ thẹn cho một Đại Đế Quốc Nhật Bản đã đánh thắng Nga.”
Trước khi trục xuất, Phan Bội Châu vì muốn cảm ơn sự giúp đỡ nồng hậu của Asaba và muốn nói lời chia tay, đã đến thăm nhà Asaba ở Kozu, Odawara. Được Nguyễn Thái Bạt giới thiệu, trước tiên là Cụ xin lỗi về việc đã vô ơn bạc nghĩa từ trước đến giờ, nhưng Asaba đã nhanh chóng nắm lấy tay Phan Bội Châu mời vào tiếp đãi. Asaba uống nhiều, đàm đạo nhiều, và chỉ trích thậm tệ Okuma (Bá tước Trọng Tín) và Inukai( thủ tướng Khuyển Dưỡng Nghị) đã không thể bảo vệ cho Phan Bội Châu và đồng sự.
Tháng 5 năm 1917, Phan Bội Châu bí mật trở về Nhật Bản. 7 năm trước đó, ngày 25 tháng 9 năm 1910, Asaba Sakitaro đã qua đời ở độ tuổi 43. Tức là một năm sau ngày Phan Bội Châu bị trục xuất khỏi Nhật. Ân hận vì ơn nghĩa chưa thể báo đáp, cũng không thể nói được lời cảm ơn trước mộ Asaba, Cụ đã quyết định làm bia kỷ niệm. Và rồi đến năm 1918, Cụ trở lại Nhật Bản lần nữa để thực hiện quyết định này.Trong bút tích của mình, Phan Bội Châu có viết: “Tôi đến Shizuoka để xem giá cả làm bia bao nhiêu, vật liệu đá và công khắc chữ là 100 yên, tiền chuyên chở làm hoàn chỉnh thì phải hơn 100 yên. Thế nhưng trong túi tôi vẻn vẹn chỉ có 120 yên. Tôi và Lý Trọng Bá đã đến nhà ông trưởng thôn trình bày đầu đuôi.” Tôi đã nói với trưởng thôn rằng hiện tại vì không đủ tiền nên sẽ đi Trung Quốc để thu xếp. Ông trưởng thôn vô cùng cảm kích và sẵn sàng giúp đỡ. Sau đó đã mời chúng tôi qua đêm tại nhà ông. Trưởng thôn đã nói với các em học sinh dắt người nhà đến trường vào ngày chủ nhật để nghe câu chuyện của tôi. Ngày chủ nhật, chúng tôi đến trường theo sự hướng dẫn của trưởng thôn. Rất đông phụ huynh đã tập trung. Trưởng thôn đã kể về hành động nghĩa hiệp của thầy thuốc Asaba và giới thiệu tôi và Lý Trọng Bá. Ông nói:“Hai người này đã vượt ngàn dặm đến thôn xã này để dựng bia cho thầy Asaba. Chúng ta khoanh tay đứng nhìn được à. Mọi người nghĩ sao”. Tiếng vỗ tay như sấm vang lên. Trưởng thôn cho biết rằng hai người này sẽ chỉ đảm nhận chi phí vật liệu đá và tiền công khắc chữ thôi, còn vận chuyển và xây dựng bia sẽ do thôn chúng ta đảm nhận… Tiếng đồng tình vang lên khắp trường.
Bia kỷ niệm được lập tại Nhật Bản
(hàng đầu từ bên phải :Ông trưởng thôn Okamoto, cụ Phan Bội Châu và hai người Nhật trong thôn. Ba người hàng thứ hai là các nhà sư làm lễ cho buổi dựng bia)
Bia có nội dung:
“Lòng nghĩa hiệp của ông xưa nay không ai bằng.
Tấm lòng ông rộng lớn, ông giúp như trời, tôi nhận với tấm lòng như biển.
Thế nhưng, chí tôi chưa thành. Ông vẫn không chờ đợi tôi.
Tấm lòng quảng đại này của ông xin ghi tạc mãi mãi.
Chúng tôi vì nạn nước mà lưu vong ở Nhật Bản. Ông nể thương cái chí ấy giúp đỡ chúng tôi mà không mong báo đáp lại. Ông thực là một nghĩa hiệp xưa nay hiếm có. Than ôi, nay tôi còn đây ông đã mất rồi. Trời xanh biểm thẳm, nỗi lòng này chả biết tỏ cùng ai và bằng cách nào đây. Cảm tình này xin đành khắc vào đá.
Mùa xuân năm Đại Chính thứ 7, Người của Việt Nam Quang Phục Hội”.
Bia được dựng trong khuôn viên chùa Jorin ở Umeyama, nơi có mộ ông Asaba Sakitaro. Tấm bia này có chiều cao là 2.7m, chiều ngang là 0.87m, được đặt trên
một bệ đá cao hơn 1m.
Trong “Tự Phán” của Phan Bội Châu có ghi rằng “Vào ngày hoàn thành, người trong thôn tập hợp lại làm lễ hoàn thành, tổ chức yến tiệc và để chúng tôi làm khách mời danh dự. Việc này tất cả đều nằm trong sự lo liệu của ông trưởng thôn. Tự bản thân chúng tôi từ đầu đến cuối chỉ trả 100 yên. Tôi đặc biệt viết ra đây để truyền lại cho đồng bào Việt Nam biết đến nghĩa cử của những người bạn Nhật Bản như thế này mãi mãi.”
Năm 2003, tại khuôn viên chùa Jorin, Umeyama thị trấn Asaba (nay là thành phố Fukuroi), tỉnh Shizuoka, đã diễn ra lễ kỷ niệm 85 năm ngày lập bia kỷ niệm. Buổi lễ có vợ chồng ông Phan Thiện Cơ (cháu của Phan Bội Châu) được mời đến tham dự. Tại đây đã có cuộc gặp mặt với vợ chồng bà Asaba Kazuko (cháu của Sakitaro) 35 du học sinh Việt Nam sống gần Asaba, tổng cộng 230 người có mặt, và buổi lễ đã trở thành một nơi giao lưu Nhật - Việt vui vẻ. Câu chuyện về bia báo ân Asaba Sakitaro mà Phan Bội Châu viết để lại được xướng lên, dường như làm tái hiện lại khoảng khắc 85 năm về trước.
Vào năm 2010, nhân dịp kỷ niệm 70 năm ngày mất nhà chí sĩ yêu nước Phan Bội Châu, 100 năm ngày mất bác sĩ Asaba Sakitaro, hiệp hội Asaba và những người Nhật hảo tâm đã tặng cho Bảo tàng Lịch sử bia tưởng niệm “ Phong trào Đông Du”. Tấm bia thể hiện lòng tri ân đối với cụ Phan Bội Châu đã mở ra mối quan hệ tốt đẹp giữa đất nước Việt Nam – Nhật Bản. Mối quan hệ đó ngày càng phát triển tốt đẹp và đặc biệt qua chuyến thăm khu di tích lưu niệm Phan Bội Châu của Nhật hoàng và Hoàng hậu vào tháng 3/2017 càng thắt chặt hơn nữa mối quan hệ Việt Nam – Nhật Bản, một mối quan hệđược khởi nguồn từ phong trào Đông Du.