Оба варианта фразеологизма употребительны. К сожалению, источник назвать пока что не можем.
Возможны оба варианта. Заниматься кем-л. – направить свое внимание на кого-л.; проявить интерес к кому-л. Заниматься с кем-л. – помочь кому-л. в учении, занятии и т. п.
Верно: пойти на рынок.
Такое сочетание возможно, если нужно подчеркнуть, что людей приглашали. Например: там были приглашенные гости и гости незваные.
В значении 'остров' Гаити – существительное мужского рода; в значении 'государство' Гаити может употребляться как существительное среднего рода и как существительное женского рода.
Правильно: пойти за молоком.
Глаголы пойти, уйти, прийти, выйти являются самостоятельными словами, а не формами одного слова. Это однокоренные глаголы, производные от глагола идти (корень -ид-); в производных глаголах пойти, уйти, прийти, выйти корень производящего глагола представлен вариантом (алломорфом) -й-.
Сочетание острый как бритва отсутствует в словарях фразеологизмов. Единственный источник, в котором это сочетание приведено в числе устойчивых, — перечень в параграфе 42.4 справочника по пунктуации Д. Э. Розенталя. Отмечено, что перечень составлен не только по данным словарей, но и «по наблюдениям над текстами разных жанров». В такой ситуации следует допустить оба варианта пунктуационного оформления — с запятыми и без них.