Пример проекта: Эффективые рассылки

Система планирования адресных почтовых рассылок

Пример проекта

Используя методы Machine Learning, подготовлено решение для повышения эффективности почтовых рассылок

Отрасль: Маркетинг

Описание проекта:

Цель проекта - оптимизация кампаний по адресной рассылке писем с просьбой о пожертвованиях. Письма рассылаются традиционной почтой (а не по email), и отправка каждого имеет ненулевую стоимость.

В рамках проекта сделано следующее:

Применение метода обучения с подкреплением (Cost-Sensitive Reinforcement Learning). Метод позволяет построить долгосрочную стратегию, распространяющуюся на несколько кампаний, разнесенных по времени, а не на максимизации непосредственной выгоды от текущей кампании, рассматриваемой в изоляции. Применён Марковский процесс принятия решений (Markov Decision Process) с аппроксимацией функции полезности (value function).
Разработка масштабируемого окружения для применения методов обучения с подкреплением в среде распределённых вычислений, Hadoop / Apache Spark с использованием библиотеки машинного обучения MLlib.
Создано приложения для демонстрации возможностей созданного окружения. В качестве демонстрационных данных использовался набор данных о почтовых рассылках из открытых источников.

Алгоритмы и математические методы:

Обучение с подкреплением (Reinforcement Learning), Sarsa, Q-learning
Логистическая и линейная регрессия (Logistic and Linear Regression)
Деревья принятия решений (Decision Trees)
Cost-Proportionate subsampling

Среда разработки:

Система управления распределёнными вычислениями на кластере: Hadoop, Apache Spark
Язык программирования: Scala
Математические библиотеки: MLlib, Breeze
База данных: HBase
Операционная система: Linux, Windows

Объём проекта:

6 тысяч строк Scala кода
2 месяца, команда из 3 разработчиков