Верно: Таруса, Болшево.
Названия такого типа рекомендуется склонять и без родового слова город, и в сочетании с ним (см. «Письмовник»).
Употребляемый без родового слова (поселок, станция и т. п.) топоним «Лисий Нос» склоняется следующим образом: Р. п. Лисьего Носа; Д. п. Лисьему Носу; В. п. Лисий Нос; Тв. п. Лисьим Носом; П. п. в Лисьем Носу.
Нет, так как свердловчане — жители города Свердловска.
Все три выражения являются правильными. Отметим отличия, на которые и Вы обратили внимание. Оборот с предлогом по используется в качестве официального наименования территориального подразделения УМВД, а следовательно, предпочтителен в текстах, где важна номинативная точность. В двух других случаях сфера употребления оборотов намного шире, не стандартизирована, выбор конструкций может диктоваться смысловыми особенностями высказываний и стилистическими свойствами текстов.
