В официальных документах предпочтительна форма мужского рода, то есть следует выбрать первый вариант.
Верно: Иванов И. И., заведующий поликлиникой.
С таким мнением мы не знакомы. Вариант заведующая употребителен.
Вы все верно обосновали. Более убедительных аргументов нет.
См. вопрос 295779.
В большинстве контекстов - заведующая.
Запятая нужна.
Названия должностей, званий, титулов пишутся со строчной буквы, напр.: президент, канцлер, председатель, министр, премьер-министр, заместитель министра, мэр, император, королева, хан, шейх, генеральный секретарь, заслуженный деятель культуры, лауреат Нобелевской премии, посол, атташе, директор, генеральный директор, академик, доктор наук, профессор, член-корреспондент, генерал-майор, командующий войсками, руководитель департамента, заведующий отделом, управляющий делами. В официальных текстах названия высших государственных должностей и титулов пишутся с прописной буквы, напр.: Президент Российской Федерации, Председатель Правительства РФ.
Правило процитировано из справочника "Правила русской орфографии и пунктуации" под ред. В. В. Лопатина.
Мужской род уместен в строгой деловой речи, где важно сообщить о должности безотносительно к полу (например, в приказе: назначить заведующим библиотекой Иванову...). В обиходной письменной и тем более устной речи о женщине верно: заведующая библиотекой.
