Названную запятую ставить не нужно.

Если убрать союз что, предложение превращается бессоюзное сложное с изъяснительным значением (на это значение указывает глагол чувствовать, предупреждающий о последующем изложении какого-либо факта).

Между частями таких предложений ставится двоеточие, но необязательно. При глаголах, выражающих чувственное восприятие, возможна и постановка запятой — если пишущий не намерен выразить предупреждение: Слышу, с полей донеслась жалейка, ветер дыханье полей принес.

Поэтому верны оба варианта: и с двоеточием, и с запятой.

Запятая не нужна. Запятая в подобного рода конструкциях, состоящих из глагола быть, найти, остаться, вопросительно-относительного местоимения или наречия (кто, что, где, куда и др.) и неопределенной формы другого глагола, не ставится, ср.: будет о чем поговорить, есть на что посмотреть, есть к чему стремиться, не нашла что сказать, осталось на что жить и т. д.

Такое употребление неверно.

Ответить на подобный вопрос можно только следующим образом: так сложилось. Это как пытаться ответить на вопрос: почему Земля  – третья планета от Солнца, а не вторая и не четвертая? Так сложилось.