Запятая не нужна.
Верно: Ай да Рыжий, ай да сукин сын!
Корректно: Он сказал своё краткое «Да». В этом предложении прямая речь занимает позицию дополнения.
Смысл предложения неясен, поэтому ответить на вопрос о пунктуации затруднительно.
Верно: Да ладно?
Запятая стоит верно.