Определение, относящееся к двум или нескольким существительным – однородным членам, ставится в форме единственного числа, если по смыслу сочетания ясно, что определение относится не только к ближайшему существительному, но и к последующим. В противном случае употребляется форма множественного числа. При написании первая авария, кража, растрата поймет ли читатель, что прилагательное первая относится ко всем трем существительным? Если в этом есть сомнения, лучше написать первые.
Корректно: по Первой улице.
Оба варианта возможны.
Орфографический словарь
Выберите вариант, наиболее подходящий по смыслу в Вашем тексте.
Возможны оба варианта: не подойду первой и не подойду первая. Обратите внимание на пунктуацию: запятая после поэтому лишняя, ее надо убрать.