Правильно: на Арбате, на улице Арбат.
О происхождении названия Арбат см. в пособии М. В. Горбаневского «Окликни улицы Москвы».
Запятая нужна. В целом предложение построено корректно, но возможно двоякие толкование ("нет улицы в таком роде, как Арбат" и "в Москве нет улицы старый Арбат").
О происхождении этого названия см. в пособии М. В. Горбаневского «Окликни улицы Москвы».