Дело в том, что художник родился в Испании, но многие годы жил во Франции. Поэтому фактически правильны оба варианта: Пикассо (такое ударение в испанском языке) и Пикассо (так произносят французы). В «Словаре собственных имен русского языка» Ф. Л. Агеенко, который адресован работникам эфира и потому не предполагает вариантов, дается: Пикассо. Вот как объясняет выбор варианта автор словаря:

«Колеблется ударение в употреблении фамилии французского художника (испанского происхождения) — ПИКАССО Пабло. Он был гражданином Франции и большую часть своей жизни прожил во Франции. Французы произносят эту фамилию с конечным ударением — ПИКАССО. Этот вариант пришёл в русскую культуру через французский язык и получил широкое употребление.

Но, как показывает практика, в последние годы вариант ПИКАССО, соответствующий ударению языка-источника, получил широкое распространение в русском языке. В данном издании даётся: ПИКАССО Пабло».

Большой толковый словарь

Действительно, глагол прийти раньше имел варианты написания: прийти, притти и придти; приду и прийду, придёшь и прийдёшь и под. Однако в ХХ веке была проведена унификация орфографии — избавление от орфографических вариантов. С 1934 года главным орфографическим ориентиром для учащихся и учителей становится «Орфографический словарь» Д. Н. Ушакова, в котором автор «избегает давать двоякие написания слов (например: идти и итти), а избирает из числа существующих, конечно грамотных написаний, одно то, которое представляется наиболее распространенным в настоящее время». В 1956 году выходит первый общеобязательный свод правил — «Правила орфографии и пунктуации», а также первый академический орфографический словарь — «Орфографический словарь русского языка». Одна из задач правил и словаря состояла в освобождении письма от разнонаписаний. Так что с середины 20 века написание прийдя должно считаться ошибкой. 

Правильно: Флорида. См.: Агеенко Ф. Л. Словарь собственных имён русского языка. М., 2010 (электронная версия – на нашем портале).

Ответить на второй вопрос сложнее. В доступных нам словарях ударений и словарях географических названий слово Выдропужск не зафиксировано. Для ответа на Ваш вопрос мы обратились за помощью к нашим коллегам из Твери – специалистам по топонимике. По их словам, в официальных источниках, как и в «Тверском топонимическом словаре», дано ударение Выдропужск. Но при этом вопрос всё же нельзя считать окончательно решенным, т. к. автор этого словаря, историк-краевед В. М. Воробьев, возводит название к нарицательному выдропуск, зафиксированному у Даля, а в словаре Даля в этом слове ударение стоит на ы. Сами же местные жители произносят название Выдропужск по-разному: кто-то с ударением на ы, кто-то – с ударением на у.

Вообще говоря, знаки препинания в предложении не требуются: Затем хочу пойти на ипподром потренироваться. Однако обстоятельство цели потренироваться действительно можно оформить как добавочное сообщение, то есть как присоединительную конструкцию, в случае, если автор хочет акцентировать внимание не столько на нем, сколько на обстоятельстве места на ипподром. Поскольку конструкция не имеет специальных вводящих слов, ее нужно отделить с помощью тире (см. параграф 85 полного академического справочника «Правила русской орфографии и пунктуации» под ред. В. В. Лопатина): Затем хочу пойти на ипподром — потренироваться. 

В указанном месте предложения возможна и запятая — в этом случае между обстоятельствами на ипподром и потренироваться возникают отношения однородности, то есть они образуют открытый перечислительный ряд: Затем хочу пойти на ипподром, потренироваться...; подразумевается, что тренировка будет не на ипподроме.

В подобных случаях название города обычно играет роль подлежащего, а сочетание, указывающее на статус города, является приложением. По умолчанию между ними не требуется знак препинания: Столица России Москва вошла в пятёрку самых дорогих городов мира по цене элитного жилья. Если автор полагает, что адресату неизвестен статус Москвы, то приложение столица России приобретает поясняющий оттенок, и тогда нужно руководствоваться пунктом 3 примечания к параграфу 19.10 справочника по пунктуации Д. Э. Розенталя и поставить одиночное тире: Столица России — Москва вошла в пятёрку самых дорогих городов мира по цене элитного жилья. Если же условия контекста таковы, что статус города важнее, чем его название, то это название является поясняющим приложением: Столица России, Москва, вошла в пятёрку самых дорогих городов мира по цене элитного жилья.

При употреблении со словами-предложениями (нечленимыми предложениями) вводное слово не утрачивает свою функцию и отделяется запятой: Конечно, нет; Нет, конечно; Наверно, да; Думаю, да. То же можно сказать об употреблении с неполными предложениями, состоящими из одного слова: Конечно, сделаю; Конечно, Вася; В принципе, нормально...

Упомянем, что относительно слова конечно в справочниках есть указания следующего содержания: «При употреблении в ответной реплике, произносимой тоном уверенности, убежденности, слово «конечно» может не обособляться: «Это правда?» — «Конечно правда!». Нельзя не заметить, что выделение слова конечно запятыми и в этом случае не будет ошибкой.

Сделаем оговорку и о слове в принципе: «Иногда разграничить вводное слово и обстоятельство «в принципе» затруднительно. В спорных случаях решение о постановке знаков препинания принимает автор текста».

Действительно, мы нередко определяем род несклоняемого иноязычного существительного по роду русского слова, которое рассматривается как синоним или как родовое наименование для данного неизменяемого существительного. Авеню женского рода, потому что слово улица женского рода, а пенальти мужского рода, потому что здесь влияет род слова (штрафной) удар. Но это скорее исключение, чем правило. Очень часто такая проверка не работает, внешний фонетический облик иноязычного слова оказывается более сильным фактором, и слово приобретает характеристику среднего рода. Среднего – потому что это общая закономерность для русского языка: несклоняемые иноязычные существительные, оканчивающиеся на гласный, обозначающие предмет, относятся к среднему роду. Ср.: пальто, кашне, метро, кафе  и т. д.

Вот и в данном случае решающее значение имеет облик иноязычного слова, а не его русский синоним. Несмотря на то что медресе – это школа, существительное медресе относится к среднему роду. Правильно: старейшее медресе.

Да, такие правила существуют. Они называются правилами координации. Вот выдержка из этих правил.

Недопустимо слитное или дефисное написание с приставкой или первой частью сложного слова, если вторая часть содержит пробел, т. е. представляет собой сочетание слов. В этих случаях слитные или дефисные написания, рекомендуемые основными правилами, должны заменяться раздельными. Например, следует писать: лже доктор наук, псевдо произведение искусства, теле круглый стол, мини стиральная машина; экс Советский Союз, псевдо Ван Гог, пол рабочего дня, пол столовой ложки, пол Московской области. (Правила русской орфографии и пунктуации. Полный академический справочник / Под ред. В. В. Лопатина. М., 2006.)

Однако сочетание (лже) крымское шампанское может быть понято двояко и, соответственно, иметь разные написания. Лже крымское шампанское – это какой-то напиток, выдаваемый за крымское шампанское (лже + крымское шампанское), лжекрымское шампанское – это шампанское, которое сделано не в Крыму, но выдается за крымское.

Ответ на Ваш вопрос содержится в статье Е. В. Арутюновой, Е. В. Бешенковой, О. Е. Ивановой «Прописные и строчные буквы в собственных именах людей, прозвищах, псевдонимах, кличках: из академических правил русской орфографии». 

«При упоминании того или иного персонажа литературного произведения в другом произведении статус имени может меняться, — пишут исследователи. — Например, в сказке А. С. Пушкина «Сказка о мертвой царевне и семи богатырях» сочетание мертвая царевна не является именем собственным, но если в другом произведении говорится именно об этой мертвой царевне, то автор вправе отнестись к нему как к имени собственному, т. е. правомерно написание Мертвая царевна».

Таким образом, вопрос о границах имени собственного решается автором текста. Орфографические правила позволяют современному автору превратить пушкинского ученого кота в своем произведении в Ученого кота.