0432news

ШІ-генератори навчилися вбудовувати токсичні написи у меми так, що їх практично неможливо відмодерувати ШІ-креатори, серед яких і Stable Diffusion, опинилися у центрі скандалу через небезпечну вразливість. Виявилося, що стандартні системи безпеки "осліпли": вони розпізнають візуальну картинку, проте абсолютно "не розуміють" змісту тексту, який ШІ "вшиває" у зображення. Про це пише РБК-Україна з посиланням на дослідження CISPA. Більше цікавого: Без російської озвучки та з Москвою у вогні: що відомо про Metro 2039 Вчені пояснили, чому проблема виявилася значно глибшою, ніж вважалося: сучасні детектори (NSFW) налаштовані на пошук візуальних заборон, однак ігнорують семантику. Що це означає:

• Текстовий камуфляж - ШІ сприймає букви як набір ліній. Для алгоритму це частина малюнка, а для користувача - пряма образа чи дискримінація.
• Масовий обхід модерації - зловмисники навчилися використовувати прості промпти, які змушують нейромережу створювати токсичні меми. Такі "творіння" легко проходять перевірку соцмереж.
• Відсутність "розуму" - стандартні системи не мають мовного інтелекту, тож будь-який напис на фото для них є безпечним за замовчуванням.

Зброя проти ШІ-токсика Щоб зупинити поширення небезпечних зображень, було розроблено датасет ToxicBench, який виклали у вільний доступ на GitHub. Як працює технологія?

• Миттєве сканування - система автоматично "витягує" всі написи з картинки за допомогою OCR-технологій.
• Аналіз токсичності - спеціальний класифікатор миттєво перевіряє кожне слово на відповідність етичним нормам.
• Інтелектуальна підміна - замість помилки, ШІ підміняє "брудне" слово візуально схожим, але нейтральним за змістом поняттям.

Налаштування ШІ по-новому Замість того, щоб будувати зовнішні фільтри, автори змінили самі внутрішні шари моделі. Це дозволило зберегти фотореалізм та швидкість генерації, водночас зробивши ШІ "вихованим". Дослідники наголошують: ToxicBench є критично важливим для освітніх платформ та публічних сервісів, які використовують відкриті моделі ШІ. Наступним кроком вчених стане повне очищення відеогенераторів нового покоління від будь-якого токсичного впливу. Ще більше цікавого:

• Ви для нього просто таблиця: популярний ШІ виносить вироки людству без краплі емпатії
• ШІ проти брехні: нова нейромережа викриває діпфейки з точністю 95%