В этом предложении требуется запятая между одиночным и распространенным определением: Какое-то неприятное, непонятное самому себе ощущение почувствовал он и поставил портрет на землю.

В специализированной литературе возможно без кавычек, в других случаях лучше взять в кавычки, чтобы обратить внимание читателя на необычное употребление слов.

С большой буквы в этом случае следует писать слово Псковская: земля Псковская, Псковская земля.

Речь идет о разновидностях склонения – твердой и мягкой. Твердый вариант – слова с основой, заканчивающейся твердым согласным (например: девочк-а, стол, окн-о – согласные [к], [л], [н] твердые), мягкий вариант – слова с основой, заканчивающейся мягким согласным (земл-я, конь, мор-е – согласные [л'], [н'], [р'] мягкие). И в рамках первого склонения, и в рамках второго склонения есть твердый и мягкий вариант, ср.: девочка, земля – 1 склонение, стол, конь, окно, море – 2 склонение. Они имеют некоторые различия в окончаниях (Вы их указали), но всё равно объединяются в рамках одного типа склонения.

Существительные женского рода, оканчивающиеся на -ия, имеют такую особенность: в дательном и предложном падеже ед. числа в безударном положении у них окончание -и, а не -е, ср.: земле, воде, но акации, армии. Но мало кто из лингвистов считает это достаточным основанием для выделения таких слов в какое-то «особое склонение». В учебной, научной и справочной литературе такие слова в подавляющем большинстве случаев описываются как относящиеся к тому же типу склонения, что и земля, вода, т. е. первому склонению по школьной грамматике, второму склонению по академической грамматике (нумерация склонений в школьной и академической грамматике различается). См., например, пособие Е. И. Литневской на нашем портале.

Пожалуйста, воспользуйтесь словарями.

Нет оснований для использования кавычек.

Запятая ставится.

Пунктуация зависит от значения слов в общем в данном случае. Подробнее см. в "Справочнике по пунктуации".