Корректно с запятой: Нам нужно двигаться в направлении, обратном направлению градиента.
Знак препинания не нужен. Запятая не ставится между частями сложносочиненного предложения, если части предложения содержат побудительные конструкции.
Предлагаемая замена звучит, конечно, не идеально, но она вполне допустима, особенно если изменить порядок слов: ставший тотчас подвигаться навстречу. Именно так, как Вы предлагаете, замена и осуществляется: глагол в спрягаемой форме заменяется причастием, инфинитив остается неизменным.