Шри Чайтанья Махапрабху поручил Рагхунатху даса Госвами заботам Сварупы Дамодары Госвами. По этой причине Рагхунатху даса Госвами иногда называют Сварупера Рагху (Рагхунатха Сварупы Дамодары). В течение пяти дней Рагхунатха дас Госвами принимал прасад в храме. После этого он встал перед Львиными воротами храма и питался только тем, что ему подавали. Затем он стал есть только то, чем кормили нищих в чхатрах, местах бесплатной раздачи пищи. Когда об этом узнал отец Рагхунатхи даса Госвами, он послал ему слуг и деньги, но Рагхунатха дас Госвами не принял их. Узнав о том, что Рагхунатха дас Госвами питается только в чхатрах, Шри Чайтанья Махапрабху подарил ему собственную гунджа-малу и камень с холма Говардхана. Затем Рагхунатха дас Госвами стал есть только выброшенную пищу, которую он собирал и мыл. Его подвижничество вызвало одобрение у Сварупы Дамодары Госвами и Шри Чайтаньи Махапрабху. В один прекрасный день Шри Чайтанья Махапрабху заставил его поделиться пищей, которую тот ел, тем самым дав понять Рагхунатхе дасу Госвами, что благословляет его самоотречение.