Правильно: принимать по две капсулы в день.
Слова по крайней мере выделяются запятыми как вводные. Подробнее см. в "Справочнике по пунктуации".
В большинстве случаев названия рек согласуются с родовым наименованием, т. е. склоняются: по реке Оби, по реке Днепру. Однако малоизвестные названия рек обычно не согласуются. Представляется, что Пур можно отнести к малоизвестным названиям рек, следовательно: по реке Пур.