Варианты Горовцу, Полтавцу никто не запрещает: такие формы соответствуют грамматическим нормам русского языка. Но дело в том, что при таком склонении фамилий могут возникать юридические казусы, поэтому и рекомендуется всё же сохранять гласную при изменении фамилии по падежам.