Возможны варианты написания.
Следует писать слитно.
Можно поставить запятую в обоих случаях, можно не ставить (если считать эти выражения устойчивыми).
См. в «Справочнике по фразеологии».
На -ии — Какалии. Грузинские фамилии на -ия склоняются так же, как существительные на -ия: мелодии, Данелии, Какалии.
Подробнее о склонении фамилий вы можете прочитать здесь.
Допустимо: сказать последнее прости и сказать последнее «прости».
Кавычки не нужны: за просто так.