Алгоритмы машинного обучения: базовый курс. Тайлер Венс
DBSCAN – для выявления кластеров произвольной формы и обработки выбросов, где не нужно указывать количество кластеров.
Шаг 1: Подготовка данных
Для простоты примера создадим искусственные данные, представляющие 100 клиентов. Признаки: сумма покупок и частота покупок. Мы будем использовать Python и библиотеки `sklearn`, `numpy` и `matplotlib` для визуализации.
```python
import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import make_blobs
from sklearn.cluster import DBSCAN
# Создаем искусственные данные
np.random.seed(42)
# Генерируем данные: 2 кластера с разными суммами покупок и частотами покупок
X, _ = make_blobs(n_samples=100, centers=[[20, 2], [50, 10]], cluster_std=[5, 7], random_state=42)
# Масштабируем данные для лучшего представления в модели
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# Визуализируем данные
plt.scatter(X_scaled[:, 0], X_scaled[:, 1])
plt.title("Изначальные данные")
plt.xlabel("Сумма покупок")
plt.ylabel("Частота покупок")
plt.show()
```
Шаг 2: Применение K-means
Для начала применим алгоритм K-means, указав, что хотим разделить данные на 2 кластера. Мы заранее предполагаем, что в данных есть два типа клиентов – те, кто делает покупки часто, но с меньшими суммами, и те, кто совершает большие покупки реже.
```python
# Применяем алгоритм K-means
kmeans = KMeans(n_clusters=2, random_state=42)
y_kmeans = kmeans.fit_predict(X_scaled)
# Визуализируем результаты
plt.scatter(X_scaled[:, 0], X_scaled[:, 1], c=y_kmeans, cmap='viridis')
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], s=200, c='red', marker='X', label='Центроиды')
plt.title("Результаты кластеризации K-means")
plt.xlabel("Сумма покупок")
plt.ylabel("Частота покупок")
plt.legend()
plt.show()
```
В результате кластеризации K-means мы получаем два чётких кластера, и каждый клиент будет отнесён к одному из них. Центроиды этих кластеров будут отображены на графике красными крестиками.
Шаг 3: Применение DBSCAN
Теперь применим алгоритм DBSCAN. В отличие от K-means, DBSCAN не требует указания количества кластеров и может находить кластеры произвольной формы. Мы также используем параметры для настройки алгоритма:
– eps – максимальное расстояние между объектами, которые могут быть отнесены к одному кластеру.
– min_samples – минимальное количество объектов для формирования кластера.
```python
# Применяем алгоритм DBSCAN
dbscan = DBSCAN(eps=0.5, min_samples=5)
y_dbscan = dbscan.fit_predict(X_scaled)
# Визуализируем результаты DBSCAN
plt.scatter(X_scaled[:, 0], X_scaled[:, 1], c=y_dbscan, cmap='viridis')
plt.title("Результаты кластеризации DBSCAN")
plt.xlabel("Сумма покупок")
plt.ylabel("Частота покупок")
plt.show()
```
В результате работы DBSCAN мы видим, что алгоритм выделил два основных кластера, а некоторые объекты (которые в модели считаются выбросами) не были отнесены ни к одному кластеру и обозначены как -1. Эти объекты можно рассматривать как редкие или аномальные пользователи.
Шаг 4: Сравнение результатов
Теперь давайте сравним результаты кластеризации с помощью K-means и DBSCAN.
– K-means создаёт два чётких, заранее заданных кластера. Это