Ко всему прочему - вводное выражение, то же, что «кроме всего прочего, наконец». Выделяется знаками препинания, обычно запятыми.
Людям было неудобно, жарко, ко всему прочему, самого старого, совершенно седого генерала с планкой четырех орденов Красного Знамени и знаком «Почетный чекист» на габардиновом кителе в душновато-спертом, пахнувшем сеном воздухе стодолы сразу же охватило астматическое удушье. В. Богомолов, Момент истины.
В функции членов предложения эти слова не требуют постановки знаков препинания.
Вообще не сообразишь, за каким краем света находишься: ясно только, что вверх ногами ко всему прочему человечеству. М. Веллер, Ножик Сережи Довлатова. Но женщина бывает сострадательна, нежна, честна, справедлива только с тем, кого любит, и безжалостна ко всему прочему. И. Гончаров, Обрыв.
Слова «ко всему прочему» в значении «кроме всего» выделяются знаками препинания непоследовательно, ср.: Но еще ко всему прочему знаете что я подумал перед самым мгновением этим?.. Ю. Герман, Дорогой мой человек.
Корректно такое оформление прямой речи: Ковалев отказался: «Нет, отец, жарко, будем пить воду» – и добавил: «Надо охладить себя, а им устроить баню».
Да, запятая поставлена правильно.
