Это выражение - от общеупотребительного сочетания "уйти с работы" (уволиться). Кого-то "ушли" означает, что этот человек ушел не по своей воле, не по собственному желанию. Особенно ярко это значение видно при противопоставлении: Не я ушел с работы, а меня ушли.
Здесь Вы найдете соответствующие рекомендации: