Студентка разработала программу, защищающую от кибербуллинга

Студентка четвертого курса НИТУ «МИСиС» Алёна Минаева разработала программу защиты от кибербуллинга в социальных сетях. Проект вошел в число победителей студенческой конференции «Дни науки НИТУ «МИСиС».

Разработка Алёны Минаевой позволяет отслеживать и фиксировать определенные когнитивные искажения в сообщениях пользователей, которые являются маркерами агрессии.

Исследование социальной сети ВКонтакте в 2019 году показало, что 58% россиян сталкивались с кибертравлей в интернете.  Опрос онлайн-школы «Фоксфорд» фиксирует, что каждый второй ребенок подвергался кибербуллингу – намеренным оскорблениям, угрозам и иным формам агрессивного поведения в социальных сетях, мессенджерах, на форумах и игровых платформах. Распространенности этого явления способствуют анонимность, возможность быстро и безнаказанно запугивать жертву. Это может иметь пагубные и долгосрочные последствия для жертв. Основными социальными угрозами кибербуллинга являются террористические и суицидальные явления.

Важную роль в предотвращении негативных последствий интернет-травли занимает ее обнаружение на начальном этапе. Оперативный способ выявления – встроенные аналитические фильтры сообщений и комментариев в социальных сетях и мессенджерах.  Одной из сложностей при разработке таких программ является выбор адекватного критерия, по которому ПО будет оценивать сообщение и «метить» его в случае угрозы.

Логическим критерием для анализа могут стать когнитивные искажения – систематические ошибки мышления, которые сопутствуют кибербуллингу. Они нарушают правильное видение ситуации человеком и служат катализатором для обидчика. Аналитика свидетельствует, что в буллинг-системе чаще всего фигурируют такие когнитивные искажения, как дихотомическое или черно-белое мышление и навешивание ярлыков.

Студентка 4 курса кафедры инженерной кибернетики Института информационных технологий и компьютерных наук НИТУ «МИСиС» Алена Минаева разработала математическое обеспечение и программу для распознавания определенных когнитивных искажений посредством анализа текстов сообщений пользователей социальных сетей.

«Для решения поставленной задачи использовался целый комплекс методов машинного обучения (классификаторы): метод К-ближайших соседей, метод опорных векторов, «наивный Байес», деревья решений, логическая регрессия. Кроме того, для обучения и тестирования методов был создан датасет или база данных, состоящая из комментариев пользователей популярных интернет-форумов. Для оценки работы созданных алгоритмов были выбраны следующие метрики: ROC-AUC и F1-метрика», – рассказала автор разработки.

В итоге была создана комбинация, которая умеет анализировать текст на русском языке и находить сообщения, содержащие когнитивные искажения, характерные для буллинга. Система может стать основой нейросети, встроенной в любой мессенджер, например, Телеграмм, в фоновом режиме мониторить беседу пользователей и принимать меры для нейтрализации агрессии или запугивания при их проявлении.

Мона Платонова.