Правильно: со склада. Предлог из антонимичен предлогу в, предлог с – предлогу на. Правильно: на складе (не в складе), поэтому со склада.
Правильно: со склада.
Этот оборот не требует выделения кавычками.
Постановка запятой не требуется.
Возможны варианты:
- ...подумаю: отпустить тебя или нет?
- ...подумаю, отпустить тебя или нет.