Это суффикс притяжательного прилагательного. Он присоединяется к основе слова птица (ц чередуется с ч). В других формах слова звук [и] чередуется с нулем звука, а звук [й] обозначается йотированной гласной буквой, например: птичьего, птичьему, птичья, птичье. Во всех этих формах основа слова — птичь[й].

Оба варианта правильные и употребляются.

Фамилия Плиска склоняется (и мужская, и женская). Правильно: тетрадь Михаила Плиски.

Корректно: стирательная резинка, резинка, ластик (впрочем, некоторые лексикографы считают, что это наименование носит разговорный характер). Стёрка, стирка, стирашка, гумка, клячка, клачка и др. — просторечные и региональные наименования этого предмета. 

Запятая перед когда не нужна. Знаки препинания стоят верно.

Обычно: летящая колибри (на родовую принадленость несклоняемого существительного большое влияние оказывает слово птичка). В контекстах, в которых принципиально важно, что речь идет о самце, используется сочетание летящий колибри.

Вводное сочетание кстати о птичках является цельным, фразеологическим: произнося его, говорящий едва ли предполагает говорить далее именно о птичках, тогда как, произнося кстати, о наболевшем, он планирует говорить именно о наболевшем. Сравним: Мои вины уже позабыты, и вроде уже должок за ней — она дома, а я вот в больнице. Уважают в России болезнь. Кстати, о птичках… Что ты думаешь о теореме Ферма? [Сергей Юрский. Теорема Ферма (1994)]; А чего стоит загадочный, скрытый туманом аэродром «Буревестник»! Отсюда камикадзе взлетали бомбить Перл-Харбор в 41-м. Кстати, о птичках: на Итурупе через пару месяцев достроят новый всепогодный аэропорт — единственный в истории современной России возведенный полностью с нуля [Комсомольская правда, 17.05.2014]. В связи с этим и запятая после кстати внутри этого сочетания не требуется. Отметим, правда, что в практике письма ее часто ставят — это показывают и приведенные примеры. 

Отличить вводное слово кстати от наречия кстати можно по значению — см., например, «Справочник по пунктуации». Сочетание кстати, о + существительное рассматривается как специфическая языковая единица — текстовая скрепа (скрепа-фраза). В этом сочетании слово кстати по своему значению вводное, поэтому пропускать запятую здесь нет оснований.

Вводное сочетание в начале обособленного оборота не отделяется от него запятой: Эта девочка, скорее всего направляющаяся в услужение, достала из-за пазухи спрятанные мандарины...

Стилистически нейтрально: резинка для стирания, стирательная резинка. Разговорные названия – ластик, стёрка. Эти слова также приводят как пример различий в речи москвичей и петербуржцев. Москвичи говорят ластик, петербуржцы – стёрка.