Слово первоисточник употребляется во множественном числе, например: документальные первоисточники, знать из первоисточников. Перво- указывает на то, что какой-либо источник является первым, основным источником каких-либо сведений, знаний или основополагающим трудом в какой-либо области (такой труд может быть не единственным).
Оба варианта корректны, выбор зависит от смысла и контекста.
Первый вариант некорректен. Верно: ненавижу и первое, и второе.
Корректно: по Первой улице.
Правилен вариант с одной запятой: В первой, теоретической главе...
Корректно: (сидеть) в первом ряду.
Если это предложение целиком, то верно: Москва, двадцать первое января.
Если текст официально-деловой (например, юридический), то очевидно, что необходимо указать на разные инстанции, поэтому и правильно, и привольно написать так: суды первой и апелляционной инстанций. В дополнение рекомендуем принять во внимание грамматические и смысловые предпосылки подобного выбора, изложенные в ответах на тематические вопросы; см., в частности, ответ на вопрос № 314708.