Запятая не нужна.
Следует писать раздельно: мне не холодно.
Верно без запятой: кричи не кричи.
В роли сказуемого: не холодно, не жарко.
В любом случае ответа "да" или "нет" на такой вопрос недостаточно. Корректно: Нет, не холодно; Нет, не буду. Ответ со словом "да" будет, скорее всего, восприниматься как невежливый.