С лингвистической точки зрения оба варианта возможны. Но, к сожалению, не знаем, что по этому поводу думают юристы.
Корректно без запятой.
Частица не во второй части предложения выражает отрицание: "учреждений, куда его не звали, уже не осталось".
Сложность в том, что вторая часть формально (в том числе из-за частицы бы) похожа на придаточные уступки, которые пишутся с ни (например: Куда бы его ни звали выступать, везде его ждал успех). Однако это придаточное определительное.
Для нас не все прозрачно, особенно - чистая совесть в отношении искренности и верности.