См. в окне «Искать на Грамоте».
Слово мост пишется с маленькой буквы: мост Искусств.
Верно: на мосту.
Более вероятно написание Кайдакский. Но, возможно, существует иной местный вариант.
Кавычки не нужны.
Оба варианта корректны, возможны контекстные смысловые различия.
Правильно: Я стою на мосту.