Корректно со строчной: Исполняющему обязанности министра спорта.
Верно: исполняющему обязанности министра.
Мужчина - исполняющий обязанности, женщина - исполняющая обязанности (но: назначить исполняющим обязанности такую-то).
Корректно: "Министр" означает "министр образования".
Оба сочетания существуют в русском языке и немного различаются значением: по словам кого-либо – 'как говорит, пишет, учит, сообщает и т. п. кто-либо'; со слов кого-либо – 'основываясь на чьем-либо устном сообщении'. Например: по словам министра, нам известно... (=министр сказал, что нам известно); со слов министра нам известно (= нам известно благодаря словам министра).