Корректно: Ему оставалось только смириться и согласиться, а то, что уже слишком поздно, — так кому какая разница?

Подобные пары предложений возможны в тех случаях, когда наречие долго зависит от глаголов, обозначающих переход в другое состояние: ребенок долго засыпает — долго не засыпает, белье долго сохнет — долго не сохнет, чай долго остывает — долго не остывает, снег долго тает — долго не тает и т. п. В сочетаниях типа долго засыпает глагол обозначает собственно процесс перехода в другое состояние, наречие долго здесь можно заменить на слово медленно: медленно закипает, медленно тает, медленно сохнет и т. п. Сочетания с отрицанием типа долго не засыпает обозначают не процесс, а недостижение конечного результата, замена наречия долго на слово медленно в данном случае невозможна.

Да, тире здесь поставлено верно — см. параграф 51 справочника «Правила русской орфографии и пунктуации» под ред. В. В. Лопатина. Обратите внимание, что обстоятельства образа действия однородны, второе из них отделяется от первого, но не обособляется: Медленно, осторожно она поднимает с пола...