Запятые лучше поставить. Подробнее см. в "Справочнике по пунктуации".
В этом случае придаточная часть усечена до одного союзного слова что и не требует отделения запятой. Сочетание по крайней мере употреблено в предложении в функции вводного: Сделать мужчина ничего не мог — по крайней мере, он ещё не придумал что.
Не с причастиями пишется раздельно, если есть зависимые слова: не соответствующий действительности.
Написание зависит от смысла высказывания. Если имеется в виду, что задача сложная, тогда верным будет слитное написание. Если же подразумевается, что задача не является простой, но при этом степень ее сложности не уточняется (предположим, эта задача может быть и средней, и высокой степени сложности) или в данном контексте не имеет значения, тогда надо написать раздельно. Иначе говоря, если признак предмета только отрицается, но никакой другой признак при этом не утверждается, корректно раздельное написание. Ср., например, такой контекст: Вот три задачи. Одна из них простая. Какая? Вторая? Неверно, это не простая задача.
«Как слышится, так и пишется» – такой принцип построения орфографии называется фонетическим. На нем построены орфографические системы некоторых языков, например белорусского (но не во всех случаях) или грузинского.
В основу орфографии русского языка положен иной принцип – фонемный (его еще называют фонематическим и морфологическим). Суть его заключается в следующем: каждая морфема (корень, приставка, суффикс) пишется по возможности одинаково, несмотря на то что ее произношение в разных позиционных условиях может быть разным. Мы произносим [дуп], но пишем дуб, т. к. в этом слове тот же корень, что и в слове дубы; произносим [з]делать, но пишем сделать, т. к. в этом слове та же приставка, что и в слове спрыгнуть и т. п. Фонемному принципу отвечает 96 % написаний. И лишь 4 % – это разного рода исключения. В том числе – обусловленные действием фонетического принципа, например написание ы вместо и после приставок на твердый согласный: безыдейный (хотя идея), надындивидуальный (хотя индивидуальный). Вот здесь как раз и действует принцип «как слышится, так и пишется»: слышится ы – и пишется ы.
Подробно о кавычках читайте в "Письмовнике" (рубрика "Грамотность").
