См. в «Письмовнике».
В уменьшительных формах имен используется суффикс -ечк-, а не -ичк-. Правильно: Венечка (от имени Вениамин). Но при этом написание имен с суффиксом -ичк- широко распространено, главным образом в частной переписке. Так, герой поэмы "Москва - Петушки" В. Ерофеева - Веничка. Имя Эдичка (от Эдуард, Эдвард) пишется через И под влиянием промежуточной формы – Эдик.
С заглавной (прописной) буквы пишется только первое слово в составе этого названия.
Выделение запятыми уместно при интонационно-логическом выделении таких оборотов.
Правильно: не отходя. Обычно пишется раздельно частица НЕ с глагольными формами, в том числе с деепричастиями.
Толковым словарем иноязычных слов. На портале "Грамота.Ру" Вы можете воспользоваться "Большим толковым словарем русского языка" С. А. Кузнецова.