Если речь идет о семантических отношениях, то невежда — невежественный, невежа — невежливый.
В любом случае ответа "да" или "нет" на такой вопрос недостаточно. Корректно: Нет, не холодно; Нет, не буду. Ответ со словом "да" будет, скорее всего, восприниматься как невежливый.