Верно: альфа Центавра, без альфы Центавра, к альфе Центавра...
Предлог из антонимичен предлогу в, а предлог с — предлогу на. Правильно: на Альфе Центавра (ср.: на звезде), поэтому: с Альфы Центавра.
Вы правы: горгона – нарицательное существительное, оно пишется строчными. С прописной пишутся имена горгон – Сфено, Эвриала, Медуза. Ваше замечание мы обязательно передадим главному редактору «Большого толкового словаря» С. А. Кузнецову.