Названия рек женского рода склоняются в сочетании со словом река: на реке Кубани.
Нормативно: на Кубани. Это исторически сложившийся вариант предложного управления.
Второй вариант предпочтителен.
Языковой ошибки в таком сочетании нет.
Слова на -цкий образуются от основ на Ц, К и Ч, причем согласные К и Ч чередуются с Ц, а первый согласный суффикса -ск- фонетически поглощается предшествующим Ц, и это передается на письме сочетанием цк.