Исключения нет, мужская фамилия Бейц склоняется. Склоняются все мужские фамилии, оканчивающиеся на согласный (кроме фамилий на -ых, -их типа Черных, Долгих). Таковы законы русской грамматики (которым подчиняются и фамилии иноязычного происхождения).

Если со слова улица начинается предложение, то первая буква должна быть прописная. 

Нормативно написание однословных приложений, предшествующих определяемому слову или следующих за ним, через дефис (приложение присоединяется дефисом): улица Гвардейцев-Широнинцев. Ср.: улица Героев-Панфиловцев (в Москве; такое написание зафиксировано орфографическим словарем В. В. Лопатина, И. В. Нечаевой, Л. К. Чельцовой «Прописная или строчная?»). При этом исторически может использоваться другой способ написания (раздельное написание, через пробел).

В разговорной речи такая фраза возможна, однако в строгих формах устной и письменной речи – нет. 

Правильно: улица Островитянова (см., напр., «Словарь собственных имен русского языка» Ф. Л. Агеенко). Ударение на Я, несмотря на то что в фамилии человека, в честь которого названа улица, – К. В. Островитянова (1892–1969), советского экономиста и общественного деятеля, вице-президента Академии наук СССР в 1953–1962, – ударение падает на И. Этот парадокс, вероятно, объясняется тем, что в форме Островитянова, если ударение падает на И, остаются 3 безударных слога в конце слова, что неудобно для произношения.

Перед номером дома нужна запятая. А что Вы называете номером улицы?

Такие названия не склоняются: улица 9 Января (Девятого Января) – жить на улице 9 Января (Девятого Января), улица 1 Мая (Первого Мая) – любоваться улицей 1 Мая (Первого Мая).

Правильно: по Байкальской улице. Предложенные Вами варианты также используются, но - в канцелярской речи.

Употребление кавычек зависит от контекста, но по общему правилу для названий уний кавычки не требуются: Люблинская уния.