Обычно обособляются обстоятельства с предлогом ПО и именем собственным (часто - в начале предложения). Однако в Вашем примере запятые не нужны: слова "по Иванову" служат для введения придаточного предложения и при этом тесно связаны со сказуемым.

Такое употребление некорректно.

Мы не выполняем домашние задания и задания олимпиад по русскому языку.

Вот как эти варианты описывает справочник "Управление в русском языке" Д. Э. Розенталя:

Специализироваться по чему - приобретать специальные познания, навыки в какой-либо отрасли науки или техники.

Специализироваться в чем и на чем - закрепляться за какой-либо одной специальной областью деятельности или сферой использования.

Таким образом, верно: студент специализируется по физиотерапии; компания специализируется в  нефтедобыче (на нефтедобыче).

Запятая перед что нужна, она ставится перед придаточным предложением что я знаю.

Это употребительное сочетание.

Я не знаю, как остальные, // но я чувствую жесточайшую // не по прошлому ностальгию – // ностальгию по настоящему (А. Вознесенский).

Мы уже отвечали на этот вопрос. См. 222101

В состав именного сказуемого может входить не местоимение, а омонимичная ему частица. Вот пример предложения с таким сказуемым, включающим частицу: Составное именное сказуемое с формальной связкой — это один из двух базовых типов сказуемого в русском языке. Частица ни на что не указывает (в отличие от местоимения), находится непосредственно перед сказуемым, при этом предложение, как правило, выдержано в плане настоящего времени, формальная связка нулевая. Частица находится как раз на месте связки. Недаром Л. В. Щерба считал эту частицу именно связкой (наряду с есть).

Относительно того, входит ли эта частица в состав сказуемого, можно дискутировать. Мнение, согласно которому она в сказуемое входит, опирается на контактную препозицию частицы при сказуемом; и не просто контактную, но и фиксированную: передвинуть ее дальше вправо нельзя. Однако, с другой стороны, никаких оттенков смысла она в сказуемое не вносит (в отличие от других частиц — например, было в Митя бросился было к дверям), с выражением грамматических значений никак не связана, может быть безболезненно удалена — следовательно, обязательным элементом не является.

Именно так и следует оформлять подобные конструкции: на месте пропуска слова стороны во вводном сочетании ставится тире. См. параграф 96 полного академического справочника «Правила русской орфографии и пунктуации» под ред. В. В. Лопатина.