Первый вариант неправилен. Второй вариант возможен, также возможен и вариант написания без прописных букв. По отношению к ведомству Морского министерства Российской империи, полагаем, сейчас приемлемы оба написания. Какой была форма названия в официальных документах, нам установить не удалось, но в публикациях об истории российского флота встречаются и вариант со строчной, и вариант с прописной (неправильные написания тоже попадаются, но на них ориентироваться не стоит). Главное, чтобы в одном тексте использовался какой-то один вариант. 

Эти сочетания пишутся без кавычек.

Корректно: на 1-й Морской улице.

Принято написание без наращения.

Воспользуйтесь окном «Искать на Грамоте».

Запятую следует поставить.

Здесь корректно: ...границы.

Нужно лишь в том случае, если это собственное наименование.