Деепричастие любя не обособлялось бы, если бы обозначало образ действия (то есть действительно приближалось бы по значению к наречию). Как, например, во фразе Я же тебя ругаю любя (ругаю как? ср.: ругаю любовно, ругаю с любовью).

В названии стихотворения деепричастие обособляется, потому что сохраняет значение глагольности, выступает в функции второстепенного сказуемого. Смысл здесь такой: «когда (если) любят, не отрекаются». Здесь вовсе нет смысла «не отрекаются с любовью». Поэтому запятая нужна, ее отсутствие искажает смысл текста.

Должны согласиться с Вашими доводами: запятая не нужна.

В современном русском языке в словах богиня, врагиня (устар. и шутл.), герцогиня, инокиня, монахиня, монархиня, графиня, героиня, барыня, боярыня, сударыня, рабыня, гусыня и т. п., а также в сложениях с компонентом -лог (геологиня, разг. шутл.) выделяется суффикс  -ин(я) / -ын(я). Суффикс имеет значение женскости.
Аффиксы (суффиксы, префиксы) никогда не заимствуются напрямую, а только косвенно, то есть как часть сложных заимствованных слов. Это очевидно, так как значение иноязычного аффикса недоступно подавляющему большинству носителей языка. В дальнейшем иноязычный аффикс может быть по тем или иным причинам принят словообразовательной системой языка. Например, в слове графиня он вычленился в русском языке под влиянием исконных образований ж. р. на -иня, -ыня (княги́ня и т. п.). 

В справочниках по правописанию традиционно говорилось о различном пунктуационном оформлении оборотов с предлогом кроме в зависимости от того, имеет ли он значение исключения или включения (раньше обороты с предлогом кроме со значением включения знаками препинания не выделялись). Авторы процитированного Вами справочника, видимо, обнаружили подобную тенденцию и у оборотов с предлогом помимо (близком по значению к кроме).

Однако в настоящее время, как указывает полный академический справочник «Правила русской орфографии и пунктуации» (М., 2006), различия в значениях оборотов со словом кроме не сказываются на пунктуации: и в том и в другом случае предусмотрено выделение запятыми. По этой причине сейчас нет смысла рекомендовать отражать на письме и различия в значениях оборотов с предлогом помимо (включение или исключение). Но важно разграничить употребление помимо в этих значениях и в значении 'не принимая во внимание что-либо, вопреки чему-либо', что и сделано в нашем справочнике.

Объяснение из Вашего учебника ближе к истине, чем объяснение Р. П. Рогожниковой, хотя оно также довольно путаное: дело в том, что союз И функционирует здесь именно в составе оборота И В ЧАСТНОСТИ, поэтому нельзя рассматривать по отдельности пунктуацию при союзе И и пунктуацию при словах В ЧАСТНОСТИ.

В действительности слова в частности могут выступать в обстоятельственном значении (как наречие "особенно, отдельно"), и в этом случае их не нужно обособлять, например: Я рассказал о поездке в целом и о достопримечательностях Москвы в частности.

Однако гораздо чаще слова в частности употребляются как вводные. При этом разграничивают два случая употребления вводных слов: 1) в составе обособленного оборота (в данном случае - уточняющего): Многие страны, и в частности Алжир, нуждаются в экономической помощи... 2) в качестве самостоятельного вводного выражения: В книге помещен, в частности, интересный очерк о жизни и деятельности ученого.

Как можно заметить, именно последние два случая и нуждаются в разграничении. Как лучше их разграничивать в учебных целях - вопрос методический, вопрос открытый.

Вы можете требовать не склонять свою фамилию в виде исключения. Но нормативным все же является ее изменение по падежам.

В целом ситуация неразрешимая (т. е. нет варианта, устраивающего все стороны). Можно, например, сделать оговорку в тексте, объяснив разницу в склонении фамилий, и далее склонять фамилии по-разному. 

Спасибо за дополнение!