Большие данные, искусственный интеллект, финансовые технологии и машинное обучение

Мы вступили в эпоху больших данных (BigData). Камеры видеонаблюдения, информация о перелетах и переездах людей, истории болезней, транзакции, сотовая связь, покупки в магазинах — все это и многое другое формирует базы данных, которые постоянно пополняются и стремительно разрастаются. Все эти данные — большая ценность, ресурс для анализа и прогнозов, пища для алгоритмов машинного обучения. Сегодня без них уже невозможно построить систему с по-настоящему высокой точностью.

BigData-исследования находятся на стыке наиболее востребованных направлений. Это, можно сказать, сердце междисциплинарных исследований. Здесь и искусственный интеллект, и машинное обучение, и нейронные сети на службе медицины, биологии, экономики, социологии, логистики, физики, генетики, финансов; а также сложные семантические алгоритмы для поиска информации в интернете и нестандартные подходы к обеспечению безопасности программно-аппаратной инфраструктуры.

Технологии обработки больших данных и машинного обучения успешно трудятся в области поиска информации, прогноза погоды и игры в Го, они предсказывают спрос на товары, помогают распознавать изображения и звуки. Использование современных методов машинного обучения на действительно больших объемах данных позволяет конструировать системы с обширными возможностями.

Один из примеров системы, которую можно сделать в рамках конкурса, — создать алгоритм, рекомендующий фильмы, музыку и литературу конкретному пользователю, на основе оценок, которые поставили другие пользователи этого сервиса. Алгоритм сравнивает их и делает предсказание, какую оценку фильму поставил бы этот пользователь, если бы его посмотрел. Алгоритм может использовать информацию с популярных сайтов, таких как Кинопоиск, IMDB, litres или Википедия.

1. Интеллектуальный полевой помощник
2. Вовлечение клиентов через игровые механики
3. Разработка аналитического сервиса на открытых данных
4. Управление радиоресурсами в мобильных сетях
5. Градиентный клиппинг и его приложения в обучении
6. Метрики сложности образовательных курсов
7. Цифровая реконструкция объектов материальной культуры
8. Система идентификации по поведенческой биометрии для противодействия мошенническим действиям
9. Разработка интеллектуального помощника в комплексной расшифровке медицинских анализов

Описание проектов
(проекты могут быть изменены и дополнены)

1. Интеллектуальный полевой помощник

Руководители проекта:  Камашев А.М., Матвеев А.С.

Аннотация: Проект направлен на разработку приложения для автоматизации контроля качества сейсморазведочных данных.  Основные задачи:  

1. Изучение основ сейсморазведки при разведке месторождений нефти и газа. 
2. Создание прототипа локального сервера по сбору сейсморазведочных данных.  
3. Реализация метрики контроля качества данных.
4. Разработка методов автоматического контроля качества данных с использованием методов машинного обучения.  
5. Программная реализация функционала для коррекции метрик пользователем.  
6. Разработка мобильного приложения — интеллектуального помощника при полевой сейсморазведки.

Партнер проекта: Научно-образовательный центр «Газпромнефть – Новосибирский государственный университет»

2. Вовлечение клиентов через игровые механики

Руководители проекта: Гончаров В.В., Колыбин Л.И.

Аннотация: Проблема, которую будет решать проект, — есть стратегическая цель по наращиванию метрики SF (DAU/MAU) и виральность продуктов экосистемы Тинькофф. Цель проекта: придумать и частично реализовать проект, которые может влиять на эти показатели. Сам проект должен представлять из себя игровую механику с элементами социального взаимодействия. Задачи проекта:

– Придумать креативную концепцию проекта
– Описать пользовательский путь в будущем интерфейсе
– Разработать бэк-энд

Партнер проекта: Акционерное общество «Тинькофф банк»

3. Разработка аналитического сервиса на открытых данных

Руководители проекта: Суржко Д.А., Гаршин В.В., Рябых А.Г., Меркушов Л.Ю.

Аннотация: В рамках данной задачи будут проработаны вопросы разбиения потока текстовой информации на тематики с помощью инструментов машинного обучения для целей последующей аналитики и разметки. Результаты разметки данных будут автоматически обрадоваться AutoML инструментом, реализующим задачу классификации текстовой информации.

Партнер проекта: Банк ВТБ (публичное акционерное общество)

4. Управление радиоресурсами в мобильных сетях

Руководители проекта: Чернов А.В., Жукова А.А.

Аннотация: В настоящее время активно происходит внедрение мобильных сетей 5го поколения, определяются стандарты мобильных сетей 6го поколения. Но задача управления радиоресурсами сотовой станции по-прежнему актуальна, а алгоритмы применяемые для решения этой задачи должны удовлетворять достаточно жестким требованиям (передача данных выполняется каждые 0.5 мс, в среднем необходимо передать данные всем зарегистрированным пользователям и др.). В проекте планируется рассмотреть математические постановку такой задачи в форме задачи оптимального управления, которая может также быть представлена и в форме задачи оптимизации. 

Участники познакомятся с особенностями передачи данных между устройствами в мобильных сетях 5-го поколения: распространение радиосигналов, технологии Massive MIMO, Beam Forming, NOMA, и др. Это потребует также знакомства с элементами линейной алгебры, теории функции комплексного переменного и др. 

В рамках исследований школьники познакомятся с современными алгоритмами, применяемыми для решения задач оптимального управления и оптимизации, их особенностями. Один из возможных подходов подразумевает в том числе кластеризацию данных, использование нейронных сетей. Численное исследование эффективности алгоритмов, их сравнительный анализ будет проводится с помощью прототипа на языке Python.

Партнер проекта: Московский физико-технический институт (национальный исследовательский университет)

5. Градиентный клиппинг и его приложения в обучении

Руководители проекта: Гасников А.В., Кутузов Н.В.

Аннотация: В последние несколько лет для различных моделей обучения нейронных сетей (например, BERT + CoLA) было обнаружено, что в случае «больших стохградиентов» выгодно использовать специальный клиппинг (обрезание/нормирование) пробатченного градиента. Поскольку все современное машинное обучение, так или иначе, в конечном итоге сводится к задачам стохастической оптимизации, то вопрос о том, как именно «обрезать» большие значения пробатченных градиентов, играет ключевую роль в разработке эффективных численных метод обучения для большого класса моделей. В данном проекте предлагается разобраться в математике, стоящей за процедурой «обрезания» стохастических градиентов. Начнем мы с простейших вероятностных моделей распределений с тяжелыми хвостами (к таким моделям относится модель лучника, случайно (равновероятно в диапазоне 90 градусов) выпускающего стрелу в стенку), а закончим уже вполне серьезными вещами, связанными с стохастическими градиентными спусками и анализом скорости их сходимости в случае тяжелых хвостов распределений стохастических градиентов и в условиях обрезания этих хвостов. Идея обрезания заключается в том, что мы уменьшаем дисперсию стохастического градиента, но при этом приобретаем смещение. В англоязычной литературе это называют bias-variance trade-off.

Партнер проекта: Московский физико-технический институт (национальный исследовательский университет)

6. Метрики сложности образовательных курсов

Руководители проекта: Садовников А.В., Большакова О.А.

Аннотация: Для любой образовательной платформы важно не только выпускать новые курсы, но и постоянно дорабатывать и улучшать уже запущенные. А для этого необходимо понимать, какие сложности возникают у учеников в процессе обучения в текущих курсах.

В рамках проекта участники займутся разработкой характеристик курса, которые показывают, насколько конкретный курс является трудным для учеников и в чём заключается возможная причина возникающих трудностей. Подобные характеристики называются метриками. То есть, если говорить математически строго, на проекте мы будем заниматься созданием метрик сложности образовательных курсов. Разработкой метрик обычно занимаются аналитики, на проекте участники познакомятся с теми подходами, которые используются в анализе данных для решения подобных задач. Ребята научатся проводить исследовательский анализ данных, формулировать гипотезы относительно поведения пользователей платформы и проверять их с помощью математической статистики, освоят подходы к валидации метрик.

В дальнейшем разработанные метрики будут применяться на Сириус.Курсах для анализа сложности курсов.

Партнер проекта: Общество с ограниченной ответственностью «Сириус. Информационные системы»

7. Цифровая реконструкция объектов материальной культуры 

Руководитель проекта: Лашманов О.Ю.

Аннотация: Предметы древности, которые играют огромную роль в нашем историческом наследии, чаще всего обнаруживаются в поврежденном виде, а некоторые их части могут быть вовсе утеряны. Археологам приходится тратить огромное количество времени и ресурсов для ручного восстановления таких предметов из сотен фрагментов.

В рамках проекта предполагается создать алгоритм для цифровой реконструкции поврежденных предметов. 
Участники проекта научатся работать с изображениями, в том числе с использованием машинного обучения.

Партнер проекта: Общество с ограниченной ответственностью «Яндекс»

8. Система идентификации по поведенческой биометрии для противодействия мошенническим действиям

Руководитель проекта: Гашников Г.Э.

Аннотация: В последние годы в России значительно выросло число мошеннических переводов, когда по телефону или через интернет человека вводят в заблуждение и уговаривают самостоятельно перевести мошенникам деньги. Проблема в том, что в этой ситуации человек отдает свои деньги добровольно и доказать принуждение и вернуть переданные деньги крайне трудно. При этом мошенники пользуются методами внушения, устраивают для своих жертв целые спектакли, когда человеку звонят с разных номеров псевдосотрудники МВД и ЦБ и под предлогами разных ситуаций уговаривают самостоятельно снять деньги и перевести их на счет мошенников. Человек оказывается под постоянной атакой злоумышленников, они звонят каждые 10 минут на телефон, вводят его в состояние паники за свои деньги, пугают его их потерей или уголовным преследованием за несотрудничество. Как правило для перевода средств на «безопасные счета» мошенники уговаривают свою жертву использовать банкоматы, где можно внести наличные и номер счета зачисления любого банка. В сложившейся ситуации наилучшим способом борьбы с таким видом мошенничества является финансовая грамотность и бдительность, но и современные технологии могут дополнительно прийти на помощь. Как правило попавший под контроль мошенников человек находится в ненормальном психологическом состоянии он напуган, паникует, торопиться, постоянно говорит по телефону, т.е. его достаточно легко идентифицировать по поведению.

В такой ситуации на помощь может прийти биометрия — технология идентификации личности человека. Современная биометрия может идентифицировать не только кто именно находится перед нами, но и просигнализировать в центр мониторинга, если поведение человека отличается от обычного. Задачей проекта станет создание инновационной системы, которая применяя биометрические методы идентификации поможет реагировать на поведение человека в банках и у банкоматов, чтобы предупреждать самих граждан и сотрудников банка о риске мошенничества.

Подобная разработка еще не применялась в России, и при успешном создании концепта ее можно развернуть и реализовать как рабочую систему в настоящем банке и помочь многим людям не потерять накопленные средства.

Партнер проекта: Центральный банк Российской Федерации

9. Разработка интеллектуального помощника в комплексной расшифровке медицинских анализов

Руководитель проекта: Андресюк  Е.А.

Аннотация: Работа будет происходить над частью мобильного приложения, которое на основе машинного обучения (ML) анализирует в качестве входных данных комплекс показателей в лабораторных анализах человека. Результатом работы алгоритма для пользователя станет список вероятных заболеваний и состояний организма. Благодаря использованию искусственного интеллекта приложение способно обучаться. Работа обученной модели машинного обучения всегда происходит на основе размеченных данных, потому что она регулярно с заданной периодичностью дообучается на новых данных.

Партнер проекта: Акционерное общество «Группа компаний «Медси»