Предпочтительно: чесменский.

В словаре «Грамматическая правильность русской речи» Л. Граудиной, В. Ицковича, Л. Катлинской о фамилиях, совпадающих по звучанию с нарицательными существительными и заканчивающимися на согласный (Гусь, Волк, Ремень и под.), говорится следующее: «...фамилии грамматически колеблются. В словосочетаниях типа гражданин Гусь, инженер Волк, журналист Ремень в книжной речи такие фамилии склонять не принято: гражданину Гусь, инженером Волк, о журналисте Ремень. В иных случаях возможны склоняемые формы: сказать Гусю, вместе с Волком, поздороваться с Ременем». Таким образом, решение о склонении принимает носитель фамилии.  

Орфографически верно написание с большой буквы только первого слова.

Да, Вы правы. Кавычки уместны.

Следует склонять только вторую часть фамилии, если фамилия принадлежит мужчине. Женская фамилия не изменяется по падежам.

Оба варианта верны.