И пишут, и произносят. Дело в том, что произнесение предлога с перед сочетанием некоторых согласных затруднено. Поэтому перед сочетанием вт используется вариант предлога -со.
Современная норма: по окончании. В XIX веке форма подобных оборотов была неустойчива. Ср. данные «Словаря языка Пушкина»: по окончанию (по окончании): По окончанию трудов, Петр вынул карманную книжку, дабы справиться, всё ли им предполагаемое на сей день исполнено. АП 11.38. По окончанию трагедии она была вызвана криками исступления Ж2 11.20. По окончании же войны Суворов получил повеление немедленно ехать в Москву ИП 76.8.
Правильно: по возвращении, по прибытии. Предлог по в значении 'после чего-либо' употребляется с предложным падежом.
Правильно: принимать по две капсулы в день.
В значении по «после» верно: по окончании, по истечении.
Слова по крайней мере выделяются запятыми как вводные. Подробнее см. в "Справочнике по пунктуации".