Действительно, *по возвращению домой (=после возвращения домой) — грамматическая ошибка: выбрана неподходящая падежная форма. *Олеси пришлось уйти — ошибка скорее орфографическая: выбрана неправильная буква в окончании дательного падежа существительного первого склонения, проверяемая формами слов с тем же окончанием (того же типа склонения), в которых проверяемый гласный находится под ударением: земле́, весне́ (см., например, параграф 67 полного академического справочника «Правила русской орфографии и пунктуации» под ред. В. В. Лопатина).

Неясно, как предложение может быть "перегружено" запятыми, если они стоят в соответствии с правилами. Постановка знаков препинания не всегда совпадает с интонацией. Существует три принципа пунктуации: грамматический, смысловой и интонационный. Основным считается грамматический. Он предписывает ставить знаки в предложении в соответствии с его грамматическим строением.

Более гордый, самый гордый.

Начальная форма — самый.

Глаголы "присутствовать", "находиться" и "числиться" различаются в первую очередь смысловыми оттенками, в конечном счете выбирать Вам исходя из требуемого содержания. Если в Вашем случае нельзя избежать использования слов "в подведомственности", то следует просто руководствоваться толковым словарем. Обратите внимание на синонимические ряды (приводим синонимы только для актуальных значений): присутствовать = иметься, наличествовать; находиться = располагаться, быть, пребывать; числиться = "иметься у кого-либо или быть в каком-либо состоянии согласно записи, документу и т. п.". Просим также обратить внимание на то, что глагол "присутствовать" в указанном значении вполне корректно сочетается с неодушевленными существительными.

Кстати, сочетание "подразделение организации находится на территории, подведомственной определенному налоговому органу" кажется нам более удачным. Может быть, так и оставить?

Многое зависит от того, что именно говорящий считает уместным или неуместным.

Что касается смысловых оттенков, то при использовании глагола НСВ говорящий как бы мысленно возвращается в тот момент, когда совершал покупку (и заставляет адресата представить этот момент), при этом подчеркивается, что говорящий в этот момент думал о человеке, которому он выбирал подарок. Последнее (выбор подарка) тоже входит в представляемую ретроспективно ситуацию именно благодаря использованию глагола НСВ, подчеркивающего протяженность процесса выбора и покупки.

При использовании глагола СВ эти оттенки смысла исчезают, зато подчеркивается наличие результата.

Судя по контексту (Пожалуйста, не отказывайся от подарка), говорящему должно быть важно подчеркнуть первую группу смысловых оттенков; в таком случае уместнее глагол НСВ.

Действительно, словосочетания сердце погоста и шапка кудрей устроены сходным образом: в обоих главный компонент — слово, употребленное в переносном значении. Однако вопрос, который Вы задаёте, следует адресовать автору учебника — Л. В. Балашовой: ведь это она утверждает, что перед нами неделимое словосочетание.

Следует иметь в виду еще одну вещь: нельзя думать, будто в лингвистике существуют общепринятые (то есть принимаемые большинством лингвистов) решения на все случаи жизни. В огромном количестве случаев мнения лингвистов об одних и тех же явлениях расходятся. Квалификация методистов поэтому должна оцениваться в первую очередь по тому, умеют ли они отличать спорные явления от бесспорных, чтобы не включать всё то, что оценивается лингвистами по-разному, в учебные и контрольные задания.