Правильно: в городе Нью-Йорке, в штате Нью-Йорк. Топонимы обычно не склоняются в сочетании с родовым словом штат. А вот в сочетании с родовым словом город топоним склоняется, если он русского, славянского происхождения или представляет собой (как в рассматриваемом примере) давно заимствованное и освоенное наименование. Такие названия можно считать исключениями из процитированного Вами правила (статья дополнена этим примечанием).

В данном случае элемент -Парк не обозначает собственно парка. Ведь речь идет не о названии парка, а о названии гоночной трассы. Тогда как Уолл-стрит - это улица, Пятая авеню - это авеню, а Гайд-парк - это, действительно, парк. Ср.: Кузнецкий Мост (моста там нет).

Вы написали верно: тель-авивский дворик, Тель-Авивский университет. Аналогично пишется нью-йоркский.

Запятая в названной Вами конструкции не нужна - приложения не являются однородными.

Верно: Пятая авеню, 56-я улица, Франклин-стрит.

По-русски этот город называется Новый Орлеан, поэтому прилагательное: новоорлеанский.

Приводим формулировки правил.

В названиях, начинающихся на Северо- (и Северно-), Юго- (и Южно-), Восточно-, Западно-, Центрально-,  с прописной буквы пишутся (через дефис) оба компонента первого сложного слова, напр.: Северо-Байкальское нагорье, Восточно-Китайское море, Западно-Сибирская низменность, Центрально-Черноземный район, Юго-Западный административный округ. Так же пишутся в составе географических названий компоненты других пишущихся через дефис слов и их сочетаний, напр.: Индо-Гангская равнина, Волго-Донской канал, Военно-Грузинская дорога, Алма-Атинский заповедник.

В названиях учреждений, организаций, начинающихся географическими определениями с первыми компонентами Северо- (и Северно-), Юго- (и Южно-), Восточно-, Западно-, Центрально-, а также пишущимися через дефис прилагательными от географических названий, с прописной буквы пишутся, как и в собственно географических названиях, оба компонента первого сложного слова, напр.: Северо-Кавказская научная географическая станция, Западно-Сибирский металлургический комбинат, Санкт-Петербургский государственный университет, Орехово-Зуевский педагогический институт, Нью-Йоркский филармонический оркестр.

Прилагательные, образованные от географических названий, пишутся с прописной буквы, если они являются частью составных наименований – географических и административно-территориальных, индивидуальных имен людей, названий исторических эпох и событий, учреждений, архитектурных и др. памятников, военных округов и фронтов. В остальных случаях они пишутся со строчной буквы. Например: северокавказская природа и Северо-Кавказский регион, Северо-Кавказский военный округ.

См.: Правила русской орфографии и пунктуации. Полный академический справочник / Под ред. В. В. Лопатина. М., 2006 (и более поздние издания).

Верно: нью-эйдж.

Вероятно, на согласовании по форме мн. ч. сказываются два фактора: 1) в английском языке Beatles - множественное число; 2) в русском языке существует множество названий групп, в которых используется форма мн. ч., например "Песняры" (ср. русифицированное "Битлы" - в разговорной речи).

В таких случаях наречие пишется с двумя дефисами: по-нью-йоркски, по-нью-орлеански...

Академический справочник "Правила русской орфографии и пунктуации" 2006 г. как раз предлагает писать по-социал-демократически и т. д.