Вы имеете в виду субстантивированное прилагательное (т. е. существительное, по форме совпадающее с прилагательным)? Вообще говоря, неологизм - это и есть новое, необычное употребление. Так что слитное написание в таком русле будет уместным.

С большой буквы в этом случае следует писать слово Псковская: земля Псковская, Псковская земля.

Указанная запятая не требуется.

Дело в том, что подобная терминологическая лексика должна быть зафиксирована в словарях. Однако в словарях её нет, по аналогии с некоторыми словами (Вы можете увидеть их, набрав в окне «Искать на Грамоте» *зубчатый) и руководствуясь правилами русского языка рекомендуем следующее написание: мелко-выямчато-зубчатый, неравномерно зубчатый, слабо-зубчато-выямчатый.
Что касается Вашего предыдущего вопроса, то рекомендуем: ложкообразно загнутый.