Да, в предложении «Это так, пустяки» запятая ставится. 

Корректны оба варианта, однако при наличии перед счетным оборотом слов всего, только, лишь и т. п. глагол-сказуемое обычно употребляется в единственном числе: Всего в очереди, по последним данным, зарегистрировано 1559 фур из разных стран.

Верно: от +4 до +25 ⁰C.

Возможно лишь авторское, интонационное тире.

ПРЕЖДЕ ВСЕГО, вводное выражение и наречное выражение

1. Вводное выражение. То же, что «во-первых, главное». Выделяется знаками препинания, обычно запятыми. Подробно о пунктуации при вводных словах см. в Приложении 2.

Прежде всего, – что это за прическа? И. Бунин, Легкое дыхание. Да и вообще ты это оставь; прежде всего, это невежливо. В. Гаршин, Встреча. Вот к Слову-то и надо, прежде всего, привить новое отношение, переставить его в конец житейского ряда… А. Битов, Записки гоя.

2. Наречное выражение. То же, что «сперва, вначале, в первую очередь». Не требует постановки знаков препинания.

Предатель в разведке прежде всего открывает имена друзей… Ю. Семенов, Отчаяние. Поговоривши с родителями невесты и получив согласие, Лапкин прежде всего побежал в сад и принялся искать Колю. А. Чехов, Злой мальчик. Ухаживая за девицей, обращай внимание прежде всего на наружность, ибо по наружности узнается характер особы. А. Чехов, Руководство для желающих жениться. «Я всей душой желал быть тем, чем вы хотели бы, чтоб я был; но я ни в ком никогда не находил помощи... Впрочем, я сам прежде всего виноват во всем. Помогите мне, научите меня и, может быть, я буду...» – Пьер не мог говорить дальше; он засопел носом и отвернулся. Л. Толстой, Война и мир.

@ Разграничить вводное и наречное выражение «прежде всего» может быть затруднительно. В спорных случаях решение о расстановке знаков препинания принимает автор текста.

Оснований для постановки запятой нет.

Можно найти аргументы в пользу обоих вариантов: с запятой и без нее. Подробнее см. в "Справочнике по пунктуации".