Частица не во второй части предложения выражает отрицание: "учреждений, куда его не звали, уже не осталось".
Сложность в том, что вторая часть формально (в том числе из-за частицы бы) похожа на придаточные уступки, которые пишутся с ни (например: Куда бы его ни звали выступать, везде его ждал успех). Однако это придаточное определительное.
Благодарим за комментарий!