Мужская фамилия склоняется, женская – нет. «Правильного» и «неправильного» написания нет: фамилия пишется так, как зафиксировано в паспорте, а место ударения в ней определяет носитель фамилии. Если речь идет о фамилии известного лица, то сведения о ее написании и произношении нужно искать в энциклопедии.
Варианты Горовцу, Полтавцу никто не запрещает: такие формы соответствуют грамматическим нормам русского языка. Но дело в том, что при таком склонении фамилий могут возникать юридические казусы, поэтому и рекомендуется всё же сохранять гласную при изменении фамилии по падежам.