Сочетание на Колыме является уточняющим обстоятельством по отношению к сочетанию (обстоятельству) у нас при соответствующей интонации. При отсутствии такой интонации уточняющая конструкция не возникает и обособление не требуется. 

Исследователь синтаксиса осложненного предложения Е. А. Стародумова называет уточнение «самой слабой конструкцией из всех разновидностей пояснения». По наблюдениям исследователя, эта конструкция «легко «исчезает», если снять интонацию обособления: уточняющий член превращается в присловный распространитель или его аналог». Так, предложение Она села на свой диванчик, рядом с Аннушкой может быть произнесено (прочитано) и без паузы после слова диванчик: Она села на свой диванчик рядом с Аннушкой. «Изменив интонацию, мы изменили связи в предложении: компонент «рядом с Аннушкой» не связан теперь с компонентом «на свой диванчик» как уточняющий, а относится только к глаголу-сказуемому «села». Еще пример: Вечером, во время ужина, вспыхнула ссора. – Вечером во время ужина вспыхнула ссора. В первом случае есть внутрирядные уточняющие отношения между компонентами «вечером» и «во время ужина», а во втором случае эти компоненты не составляют ряда, внутрирядные отношения не оформлены» (Е. А. Стародумова. Синтаксис современного русского языка. Владивосток, 2005). 

В справочнике по пунктуации Д. Э. Розенталя упоминается возможность двоякого прочтения обстоятельств времени, сравним пример из параграфа 22.2: Завтра, в шесть часов вечера, состоится заседание кафедры. — Заседание кафедры состоится завтра в шесть часов вечера.