Правильно: по отчему. См. Склонение прилагательных в учебнике Е. И. Литневской.

Это притяжательное прилагательное.

Да, эти слова являются однокоренными.

Основа прилагательных монарший и патриарший (сюда же относятся отчий и устар. орлий) оканчивается на сочетание согласных, что, скорее всего, и является причиной их склонения по адъективному типу. В прошлом круг подобных прилагательных был шире. По адъективному типу могли склоняться прилагательные с основой на одиночный шипящий: княжий, разбойничий, казачий и др. Тенденция к унификации склонения прилагательных на -ий, мотивированных названиями лиц, на базе смешанного (местоименного) типа характерна и для современного языка: в средствах массовой информации встречаются сочетания монаршья особа, выполнить монаршью волю и т. п.

Правило также гласит, что перед буквами, передающими мягкие согласные, ь пишется только в тех случаях, когда в других формах того же слова или в однокоренных словах второй мягкий согласный становится твердым, а первый согласный сохраняет мягкость, напр.: возьми (ср. возьму), ведьме (ср. ведьма).

В слове осьминог представлен корень, который с исторической точки зрения полностью выглядит так: восем/восьм/осьм — восемь, восьмой, осьмушка, осьминог (различие в огласовке однокоренных осьм- и восьм- обусловлено тем, что в древнерусском языке перед ударным начальным о появлялся согласный в, а в старославянском языке слог оставался неприкрытым, в результате появляются пары осьмушка — восьмушка, отчий — вотчина, также после приставки на гласный: острый — навострить).

Таким образом, наличие слов осьмушка, восьмой, в которых второй согласный — [м] — становится твердым, а первый согласный — [c'] — сохраняет мягкость, убеждает, что в слове осьминог мягкий знак пишется в соответствии с правилом.

Верно без мягкого знака: патриаршего, патриаршему. Теперь разберемся, почему так.

Прилагательное патриарший в начальной форме выглядит как притяжательное прилагательное, отвечающее на вопрос "чей?" и оканчивающееся на -ий (-jeго), ср.: лисий - лисьего, пастуший - пастушьего, черепаший - черепашьего, птичий - птичьего, человечий - человечьего, монаший - монашьего, помещичий - помещичьего, скомороший - скоморошьего и т. д. Такие слова склоняются по особому (местоименному) склонению, в них пишется разделительный мягкий знак. 

Однако слова монарший и патриарший склоняются не по местоименному, а по адъективному склонению, то есть как прилагательные хороший (хорошего), святейший (святейшего), усопший (усопшего), больший (большего), августейший (августейшего) и т. п. В таких словах разделительный мягкий знак не пишется.

По этой причине правильно: патриаршее (не патриаршье) благословение, патриаршая (не патриаршья) ризница, Патриаршие (не Патриаршьи) пруды. И, соответственно: монаршее, монаршая, монаршие.

"Русская грамматика" (под ред. Н. Ю. Шведовой, М., 1980) указывает: "Притяжательные прилагательные орлий (устар.), отчий, монарший и патриарший, основа которых оканчивается на группу согласных (-ий – флексия им. п. ед. ч. муж. р.), изменяются по мягкой разновидности адъективного склонения. Образование от притяжат. прил. монарший, патриарший падежных форм по типу притяжат. прил. соболий, пастуший, волчий для современного языка ненормативно". При этом "у писателей XIX в. встречается образование форм косвенных падежей притяжательных прилагательных женского рода с шипящей согласной перед |j| (казачья, разбойничья) по образцу изменения местоимен. прил. наш, ваш (см. ниже) без |j| в конце основы: Ты не издохнешь от удара Казачей сабли (Пушк.); Не для разбойничей потехи Так рано съехались адехи На двор Гасуба старика (Пушк.); Парень был Ванюха ражий, Рослый человек, – Не поддайся силе вражей, Жил бы долгий век (Некр.) (для современного языка нормативны формы казачьей, разбойничьей, вражьей)".

Итак, различается написание слов: монашьего - патриаршего; монашье - патриаршее; монашья - патриаршая; монашьи - патриаршие.

См.:

• А. А. Зализняк. Грамматический словарь русского языка. 5-е изд., М., 2008.
• Русская грамматика / Под ред. Н. Ю. Шведовой. М., 1980.

Тире поставлено перед обособленным приложением.