Несклонение первой части (по Москва-реке) допустимо в разговорной речи, однако строгой литературной норме соответствует вариант по Москве-реке.
Действительно, иногда имя, прозвище, определение создается из предложно-падежного или глагольного сочетания и, чтобы графически показать единство многословной номинации, слова соединяют дефисами. Однако это лишь художественный прием и орфографический эксперимент, в некоторых случаях оправданный большой длиной имени и необходимостью показать его правую границу. В широко известных руководствах по правописанию можно найти примеры оформления подобных имен: Петушок со шпорами, Некто в сером. В недавно вышедшей научной работе по правописанию в разделе о прописных и строчных буквах предложено правило для подобных названий, дефис в соответствии с орфографической традицией в них не используется:
В именах персонажей, выраженных предложно-падежным сочетанием или глагольным сочетанием, с прописной буквы пишется только первое слово, напр.: Рике с хохолком, Кот в сапогах, Кот в шляпе, Некто в сером, Петушок со шпорами, Двое из ларца, одинаковых с лица, (лиса) Принеси огня. (Е. В. Арутюнова, Е. В. Бешенкова, О. Е. Иванова. Прописные и строчные буквы в собственных именах. Общеупотребительные графические сокращения. М., 2023.)
Запятая нужна.
Корректно: выдана справка о том, что...
