help@sochisirius.ru

Алгоритмы на основе машинного обучения помогают определять болезни, выявлять спам и «банить» в соцсетях. При этом они не застрахованы от ошибок, и до сих пор есть задачи, которые компьютер решает с трудом. 

Как обманывают алгоритмы и есть ли способы защиты от злоумышленников, участникам «Больших вызовов» рассказал директор по технологиям искусственного интеллекта Тинькофф Павел Калайдин.

Как ошибаются компьютеры? 

В работе современных алгоритмов уже замечено немало примеров на первый взгляд глупых ошибок: компьютер видит лошадь на картинке с автомобилем, а фотографию панды идентифицирует как обезьяну. Есть и более опасные случаи: дорожный знак «Стоп», обклеенный разноцветными стикерами, компьютер определяет как знак ограничения скорости. На дороге это может привести к водительским ошибкам, штрафам и жертвам. 

Эксперт рассказал о трех распространенных способах обмана алгоритмов: 

- Шумы. Их получают методом FGSM (Fast Sign Gradient Method) и накладывают поверх основной картинки, тем самым мешая системе определять содержание. Этот способ специалисты считают самым простым с точки зрения применения. 

- Изменения пикселей. Достаточно поменять лишь один пиксель в картинке, чтобы алгоритм определения ошибся и назвал корабль самолетом или наоборот.  

- Тестовые изменения. Например, чтобы обойти автоматические определители спама на почте, хакерам достаточно разделить стоп-слова дополнительными пробелами или точками. Тогда алгоритм перестает видеть в тексте спам и пропускает его. 

Как защитить алгоритм от обмана?

Один из способов – усложнить исходную картинку или текст и сделать взлом более проблематичным. Например, советует Павел Калайдин, можно наложить на картинку собственные шумовые эффекты и сделать ее более устойчивой к изменениям. Можно также поворачивать картинки, менять их местами и проводить иные трансформации над объектами, чтобы проводить атаки на них стало сложнее. 

Изучение способов обмана алгоритмов помогает специалистам лучше обучать модели, делать их более защищенными и надежными. В будущем это позволит разработать новые механизмы машинного обучения и сократить число хакерских атак. 

«Тинькофф» является партнером программы «Большие вызовы». Например, один из проектов направления «Большие данные» посвящен разработке чат-бота для проведения финансовых операций, ответа на вопросы пользователей, управления онлайн-банком.

Анастасия Ковалева, Высшая школа экономики

 

Поделиться
Подать заявку
© 2015–2021 Фонд «Талант и успех»
Нашли ошибку на сайте? Нажмите Ctrl(Cmd) + Enter. Спасибо!