Такое сочетание некорректно. Можно наглядно показать, продемонстрировать что-либо.

Слово идти многозначно, и одно из значений очень широкое – 'двигаться, перемещаться в пространстве' (примеры из словаря: Поезд идёт. Баржа идёт по реке. Идти под парусом. Груз идёт морем. Идти на вёслах). Поэтому приведенная Вами фраза не ошибочна. 

Не всегда. В тех случаях, когда деепричастие утрачивает глагольное значение и приближается по своим функциям к обстоятельству образа действия, оно не выделяется запятыми. Например: Поезд шел не останавливаясь (ср.: без остановок). Люблю читать лежа. Он выстрелил не целясь.

Возможны оба варианта, но употребительнее - с предлогом НА.

В — НА (предлоги; при указании местонахождения, направления движения, сферы деятельности, средств передвижения).
1. Предлоги совпадают в значении: слёзы в / на глазах; стук ножей в / на кухне.
2. Предлоги различаются:
1) оттенками значения: смотреть в небо [в одну точку] — смотреть на небо [охватывать взглядом большую поверхность];
2) частотой употребления: работать в / на поле (чаще употребляется конструкция с в); растёт на / в огороде (чаще употребляется конструкция с в); при обозначении средств транспорта чаще употребляется предлог на: ехать на машине, на трамвае, на автобусе, на поезде, прилететь на самолёте;
3) профессиональным или устарелым характером одного из словосочетаний: в речном флоте — служить на флоте (проф.); работать в театре — работать на театре (устар., проф.); были на концерте — были в концерте (устар.); на киностудии — в телерадиостудии;
4) закрепленностью в устойчивых оборотах: жить в селе — первый на селе работник (устойчивое сочетание; ср.: уехать на село, жить на селе);
5) сочетаемостью с определенными словами: в комбинате бытового обслуживания — на мясокомбинате; в спортивных играх — на Олимпийских играх; в военном стане (устар.) — на полевом стане; был в Крыму, в Подмосковье, на Смоленщине, на Кавказе, на Дальнем Востоке.

"Справка" не выполняет домашних заданий.

Это устарелый синоним. Вместе с первой железной дорогой, в 1838 году, в России появилась и стала популярной песня М. И. Глинки на слова Н. В. Кукольника:

Дым столбом, кипит, дымится пароход!

Если речь идет о терминологизированном употреблении качественных прилагательных (глухие согласные, тяжелая промышленность, скорый поезд и т. п.), то в подобных сочетаниях они действительно теряют многие признаки качественности. Некоторые исследователи полагают, что в этом случае следует говорить об их переходе в разряд относительных прилагательных.

Такое употребление верно.

ТАКОВОЙ, -ая, -ое. местоим. прил. Офиц.
Употр. вместо существительного, упомянутого выше. Не купили билета за отсутствием такового. Не встретили поезд по причине неприбытия такового. < Как таковой, в функц. опр.
Взятый сам по себе, безотносительно к чему-л. другому. Вопрос важен как таковой. Любовь как таковая меня не интересует.

Не обособляются деепричастия, которые являются обстоятельствами образа действия, напр.: Поезд шёл не останавливаясь («безостановочно»); Она говорила об этом улыбаясь («говорила с улыбкой»). В Вашем предложении-заголовке деепричастие не обозначает образ действия, оно указывает пусть и на парадоксальное по смыслу, но все же действие: хотя я ухожу, но при этом остаюсь. Так что запятую нужно поставить.