В Образовательном центре «Сириус» на программе «Большие вызовы» участники направления «Большие данные, искусственный интеллект, финансовые технологии и машинное обучение» включились в проект по изучению различных подходов к созданию эффективной системы рекомендаций для онлайн-сервисов. Задачу курировали эксперты Университета Иннополис и МФТИ. По итогам проведенной работы участники проекта подготовили к подаче на научную конференцию статью, где обобщили результаты проведенной работы.
Рекомендательные системы – это ключевой компонент современных ИТ-продуктов. Они оказывают значительное влияние на пользовательский опыт. Сегодня трансформеры (архитектура глубоких нейронных сетей, которая применяется для обработки последовательностей) активно используются в разработке рекомендательных систем. Они демонстрируют высокие показатели качества, однако производительность системы квадратично зависит от длины обрабатываемых последовательностей, что приводит к увеличению требований к памяти и затратам на вычисления при работе. В рамках проекта на «Больших вызовах» участники исследовали возможность применения другой математической модели SSM (State Space Model) для использования в рекомендательных системах. Сегодня она применяется для моделирования и анализа динамических систем в экономике, финансах и других сферах. Разработчики отмечают, что SSM могут быть использованы и для анализа данных о предпочтениях пользователей и создания рекомендательных моделей. Школьникам предстояло проверить преимущества SSM-модели по сравнению с моделью машинного обучения Transformer – может ли она повысить скорость обработки запросов пользователей и качество рекомендаций.
«Мы поставили цель – изучить, насколько хорошо данная модель встраивается в различные рекомендательные архитектуры. Для стандартной ленты рекомендаций нельзя использовать большие языковые модели, так как они имеют низкую скорость работы. SSM-модель работает быстрее. По итогам нашего исследования мы решили написать научную статью и ответить в ней на вопрос о том, можно ли улучшить конкретную архитектуру, встроив в нее Mamba-блоки. Для этого мы брали рекомендательные архитектуры различных типов и сравнивали их по нескольким метрикам: размеру модели, скорости работы, качеству рекомендаций и другим», – пояснил преподаватель проекта, старший инженер по искусственному интеллекту Николай Кутузов.
Проведенные исследования показали, что использование SSM-моделей улучшает показатели рекомендательных систем и ускоряет обучение языковых моделей – они становятся точнее и устойчивее, особенно при «холодном старте» (так называется ситуация, когда у рекомендательной системы еще нет исторических данных о прошлых запросах пользователей) для корректной работы. Также участники успешно интегрировали инновационную модель Hydra, похожую на SSM, в процесс рекомендаций. Эти и другие выводы были представлены в научной статье, поданной на международную конференцию ICOMP 2024, которая пройдет в октябре 2024 года в городе Иннополисе и приурочена к саммиту стран БРИКС.
.jpg)
«Современные компании тратят большие средства на рекламу и поддержание рекомендательных систем. Это помогает находить новых пользователей и рекомендовать людям релевантный контент так, чтобы время взаимодействия с системой и, следовательно, прибыль увеличивались. Эффективность работы рекламной системы влияет на доходность компании, а увеличение эффективности работы существующих рекламных систем прибыльно для большого числа международных корпораций», – обосновал актуальность исследования участник проекта Макар Бадерко из Москвы.
На фестивале проектов, которым завершилась программа «Большие вызовы», участники представили сайт, куда были встроены две рекомендательные модели: обычная и оптимизированная с помощью SSM-блоков. Все желающие на основе своих интересов могли ответить на несколько вопросов и сравнить, какие рекомендации предлагают две различные модели.
Научно-технологическая программа «Большие вызовы» в 2024 году проходила в девятый раз. В ней приняли участие более 400 школьников из почти всех регионов России. Под руководством наставников – представителей крупнейших российских компаний и научных институтов – они включились в решение 79 задач. Итоги работы команды представили на фестивале проектов, которым завершилась программа.
