В любом случае ответа "да" или "нет" на такой вопрос недостаточно. Корректно: Нет, не холодно; Нет, не буду. Ответ со словом "да" будет, скорее всего, восприниматься как невежливый.
Корректная пунктуация: Конечно, мой вопрос не слишком невежлив, но ведь, однако же, многие и многие проходят мимо огромного количества чудесных вещей.
Такие конструкции следует отнести к разговорным (употребительным в разговорной речи), но при этом они не ошибочны.