Нормативные правила, касающиеся правописания имен собственных с частицей да, зафиксированы в Полном академическом справочнике под редакцией В. В. Лопатина (Правила русской орфографии и пунктуации. Полный академический справочник / Под ред. В. В. Лопатина. — М: АСТ, 2009. — 432 с.).

Про правописание личных имен см. § 160. Про правописание географических названий см. § 126.

Да, предпочтительно использовать кавычки: Дважды ответили «да», но не знаете, с чего начать?

Обстоятельство иногда в принципе может быть отнесено как к обеим частям, соединенным союзом да (здесь он имеет значение «и»), так и только к первой из них. Впрочем, во втором случае логично было бы ожидать в начале второй части какое-либо другое обстоятельство, например: Иногда над головой пролетала с пугливым кряканьем утка, да постоянно слышно было, как...

Запятая перед союзом «да» не нужна, так как он соединяет однородные сказуемые.  

Третий вариант корректен, поскольку, судя по контексту, здесь не приводится дословно чья-то речь: Короткий ответ — да.