По правилам эта фамилия склоняется так же, как слово синица.
Возможны только описательные конструкции: я смогу тебя победить, я одержу над тобой победу.
Образование деепричастия в этом случае затруднительно.
Ударение падает на последний слог? Если да, то так: с Ильей ЛитвинцОм, с Ильей ЛитвинЕцом (на выбор). При другом ударении: с Ильей ЛитвИнцем, с Ильей ЛитвИнецем.
Запятая поставлена верно.