Уточним: слышать запах – выражение не просторечное, а разговорное (именно так мы всегда отвечали). Но разговорная речь – это тоже разновидность литературного языка (противопоставленная в его пределах кодифицированному книжному языку), поэтому разговорные выражения тоже соответствуют литературной норме. Разница в том, что слышать запах уместно именно в разговорной речи, а чувствовать запах – выражение стилистически нейтральное, уместное во всех стилях – и разговорном, и книжно-письменном.

Запятая не нужна, знаки препинания расставлены верно.

Запятая ставится: То, чего нельзя увидеть, можно почувствовать.

Если убрать союз что, предложение превращается бессоюзное сложное с изъяснительным значением (на это значение указывает глагол чувствовать, предупреждающий о последующем изложении какого-либо факта).

Между частями таких предложений ставится двоеточие, но необязательно. При глаголах, выражающих чувственное восприятие, возможна и постановка запятой — если пишущий не намерен выразить предупреждение: Слышу, с полей донеслась жалейка, ветер дыханье полей принес.

Поэтому верны оба варианта: и с двоеточием, и с запятой.

Если вопрос о пунктуационном оформлении, то оба варианта корректны. Выбор зависит от того, на чём делается акцент: в первом случае — на характере мероприятий, во втором — на неучастии в них.

КОМФОРТАБЕЛЬНЫЙ, -ая, -ое; -лен, -льна, -льно. [англ. comfortable]
Удобный, уютный, с комфортом. К-ая гостиница. К. теплоход. < Комфортабельно, нареч. Обставить квартиру к. и со вкусом. Комфортабельность, -и; ж. К. квартиры. К. обстановки.

КОМФОРТНЫЙ, -ая, -ое; -тен, -тна, -тно.
1.
=Комфортабельный. К-ая мебель. К-ая обстановка гостиной.
2.
Такой, который благоприятно отражается на самочувствии, доставляет приятное ощущение и т.п. К-ые условия жизни, работы. < Комфортно, нареч. Устроиться к. в купе. Чувствовать себя к. в этой обстановке. Комфортность, -и; ж.

Это правило справедливо только по отношению к некоторым типам переходных глаголов.  К их числу относятся глаголы восприятия, мысли, желания, ожидания и некоторые другие: не слышать голосов, не чувствовать печали, не хотеть лучшей доли и т. п. Родительный и винительный падеж в таких конструкциях конкурируют, и сложившаяся непростая система норм и правил (в справочнике Д. Э. Розенталя по литературной правке описание этой проблемы занимает более трех страниц) отражает историю "борьбы" двух падежей. За более подробной информацией по данному вопросу можно обратиться к тексту "Русской грамматики".

Фраза в целом корректна, однако некоторая грамматическая шероховатость в ней ощущается. 
 

К сожалению, ни один из вариантов не будет грамматически корректным. Нужно перефразировать.