Возможность употребления этого эвфемизма зависит от стиля и жанра текста. Например, в художественном произведении такое слово может быть вполне уместным. 

Оба сочетания — коллеги по школе и коллеги из школы — могут использоваться в речи. Выбор варианта зависит от контекста и авторского замысла. Сочетания с предлогом по (коллеги по работе, по сцене, по цеху, по заводу, по станции) подчеркивают принадлежность одной профессиональной среде, организации, учреждению, предприятию. Вариант с предлогом из может использоваться тогда, когда речь идет о месте работы. Слова работа и сцена не могут быть употреблены в таком выражении, а слова школа и бригада используются в качестве обозначений места (в школе, в бригаде), поэтому нередко встречаются в сочетаниях со словом коллеги. Для сравнения вспомним о таких распространенных оборотах, как коллеги из другого города, из соседней области, из столицы, из разных стран.

Не обособляются деепричастия, которые являются обстоятельствами образа действия, напр.: Поезд шёл не останавливаясь («безостановочно»); Она говорила об этом улыбаясь («говорила с улыбкой»). В Вашем предложении-заголовке деепричастие не обозначает образ действия, оно указывает пусть и на парадоксальное по смыслу, но все же действие: хотя я ухожу, но при этом остаюсь. Так что запятую нужно поставить. 

Применительно к людям это не самое удачное именование.

В приведенных Вами вопросах речь идет о похожих, но все же разных ситуациях. 

1. Предложения со схемой А: «П?», где прямая речь — вопросительное предложение. Приведем примеры.  

Смотрю вслед ему и думаю:«Зачем живут такие люди?»

Только один раз мы встречаемся с Лукьян Лукьянычем (я ещё его не знал тогда), он и говорит: «За кем вы здесь волочитесь?»

2. Предложение имеет ту же схему А: «П?», но прямая речь, представляющая собой вопросительное предложение, содержит название, заканчивающееся вопросительным знаком.

Он меня спросил: «Ты читал роман "Что делать?"»

Если бы название было включено в прямую речь — повествовательное предложение, то точка бы стояла. 

Он сказал мне: «Я не читал роман "Что делать?"».

При использовании формы мн. ч. корректно написание со строчной буквы. Приносим извинения за разнобой в ответах.

Два однородных обстоятельства, соединенные неповторяющимся союзом И, не разделяются знаком препинания (запятой). В Вашем случае обстоятельства выражены деепричастиями.