В литературном языке такого слова нет, оно является регионализмом диалектного происхождения. Фиксируется оно обычно с ударением на втором слоге: щани́ца и щени́ца (см.: Ганцовская Н. С. Словарь говоров Костромского Заволжья: междуречье Костромы и Унжи. Кострома, 2015. С. 427). В качестве основного варианта принято написание щаница, ср. кодифицированное в литературном языке прилагательное щаной.

По общему правилу вводные слова не отделяются от союзов, стоящих в начале предложения, однако в параграфе 25.6 справочника по пунктуации Д. Э. Розенталя отмечается, что иногда, например при интонационном выделении вводного сочетания, запятая ставится: Но, к великой моей досаде, Швабрин… решительно объявил, что песня моя нехороша (П.). В Вашем случае постановка запятой уместна, потому что сочинительный союз или не образует единства с вводным сочетанием по крайней мере (сравним цельные единицы типа и действительно, но так или иначе и т. п.).

Частица не может писаться с прилагательными (как полными, так и краткими) и слитно, и раздельно — в зависимости от того, содержится ли в высказывании (в соответствии с намерением говорящего/пишущего) утверждение или отрицание. Ср., например: Он небогат (= Он беден) — Он не богат (Он не слишком-то богат); а также пушкинское Она была нетороплива (= была медлительна), не холодна (= не была холодна), не говорлива (= не была говорлива). Позиция предиката (сказуемого) значительно усиливает для кратких прилагательных способность выражать именно отрицание. Он не силен = Он не слишком-то силен. Ежели бы говорящий хотел сообщить не об отсутствии, а о наличии признака, то сказал бы прямо: Он слаб в математике. Однако такое заявление выглядит слишком категоричным. Предложения типа *Он (не)сильный в математике грамматически некорректны, поскольку в них должна быть употреблена именно краткая форма прилагательного. 

Короткий ответ на Ваш вопрос примерно таков. Буква э неслучайно появилась в русской кириллице только в эпоху Петра I — до этого времени в ней не было необходимости, так как звук этот (без сочетания с предшествующим [й], как в словах типа ель, поешь и т. п.) в исконно русских словах не встречался вовсе. Именно в эпоху массового заимствования русским языком слов из языков западноевропейских эта буква и понадобилась — и стала несомненным маркером заимствований. Против введения ее в алфавит яростно протестовал М. В. Ломоносов, писавший: "...ежели для иностранных выговоров вымышлять новые буквы, то будет наша азбука с китайскую". Последовательным сторонником использования буквы э в современном русском письме был Л. В. Щерба, который, однако, замечал: "Единственным оправданием правописания е вместо э в нарицательных заимствованных словах является постоянно протекающий процесс русификации этих слов. По мере их словарного освоения происходит и русификация их произношения, что, конечно, происходит чаще". Иначе говоря, произношение заимствованных слов со временем меняется. Теперь нормативно произношение слов типа музей, пионер, крем и т. п. с мягким согласным вместо изначального твердого. А периодически менять орфографию подобных заимствований было бы не слишком удобно. 

Поскольку заданный Вами вопрос весьма объёмен, рекомендуем Вам обратиться к специальным источникам, например к монографии И. В. Нечаевой "Актуальные проблемы орфографии иноязычных заимствований" (М., Издательский центр «Азбуковник», 2011). Ее можно найти на сайте ИРЯ им. В. В. Виноградова РАН.