В данном случае солнце является обращением. Этот пример отличается от примера из вопроса 311446 тем, что предложение с прилагательным глупенькая грамматически правильно построено и в том случае, если о Катюше говорится в третьем лице: Катюша не тот месяц в календаре открыла, глупенькая. С существительным солнце это невозможно, сравним: *Виталик, солнце, уже пришёл сюда.

В этом предложении прилагательное глупенькая — согласованное определение к существительному Катюша. Определение может быть отделено от определяемого существительного другими членами предложения.

В 4-м издании академического «Русского орфографического словаря» под ред. В. В. Лопатина, О. Е. Ивановой (М., 2012) зафиксировано написание названия орудия в кавычках: «катюша» (в прежних изданиях словаря рекомендовалось написание без кавычек). Корректно: залп «катюши».

Существительное пограничье относится ко 2-му склонению. Оно стоит в форме предл. падежа ед. ч. В этой форме существительные 2-го склонения имеют окончание -е. Ср.: на столе, на копье. Поэтому корректно: на дальнем пограничье.

Однако отметим, что в художественной, особенно поэтической, речи  (обычно при предлоге в) допускается написание форм предл. п. существительных сред. рода на -ье с окончанием -и, напр.: В молчаньи шел один ты с мыслию великой (П.); Подвиг есть и в сраженьи, / Подвиг есть и в борьбе. / Высший подвиг — в терпеньи, / В любви и мольбе (Хом.); И снег соперничал в усердьи/ С сумерничающею смертью (Б. Паст.). Под ударением окончание предл. п. -и отмечается только у одного слова на -ье: забытьё — в забытьи́. См. Правила русской орфографии и пунктуации. Полный академический справочник / Под ред. В. В. Лопатина. М., 2006.

Все просто: на взморье, на пограничье. В предложном падеже на -И оканчиваются только те существительные мужского и среднего рода с неодносложной основой, которые в им. п. оканчиваются на -ИЕ, ИЙ: о сидении, о гении (но: на сиденье). Исключение: в забытьи (с ударным И). 

Орфографически верно написание названия минометного орудия катюша без кавычек, со строчной буквы.

Мягкий знак в таких формах имен, как Катюш, Паш, Саш, Наташ и т. п., не пишется.

Запятая ставится.

Нет, название орудия катюша в кавычки не заключается.