Запятая не нужна.
Верно: Ай да Рыжий, ай да сукин сын!
В первом предложении запятую можно поставить. Подробнее см. в "Справочнике по пунктуации".
Во втором предложении запятая не нужна.
Ошибка заключается в неправильном использовании дефиса.
Правильный вариант: Вот же ж то...
Допустимы оба варианта склонения: без выпадения гласного (Коренеца, Коренецу) и с выпадением гласного (Коренца, Коренцу). В официальных документах предпочтительно использовать первый вариант.
Точка после кавычек здесь не ставится.
Корректно: Он сказал своё краткое «Да». В этом предложении прямая речь занимает позицию дополнения.
Смысл предложения неясен, поэтому ответить на вопрос о пунктуации затруднительно.