Разбираемся в ML без воды: от базы до Attention. Часть 3

Почему почти

• Существование: В каждой точке существуют все частные производные первого порядка.
  
• Непрерывность: Все частные производные первого порядка сами по себе являются непрерывными функциями.

Решаем задачу

• name — имя автомобиля
  
• year — год выпуска
  
• selling_price — цена (наш таргет)
  
• km_driven — пробег в километрах
  
• fuel — тип топлива (дизель / бензин / и т.д.)
  
• seller_type — тип продавца (индивидуальный / дилер / и т.д.)
  
• transmission — коробка передач
  
• owner — количество владельцев

import pandas as pd # для работы с данными в виде таблиц
import numpy as np # для работы с массивами и числовыми операциями
import matplotlib.pyplot as plt # для визуализации данных
import seaborn as sns # опять же для визуализации (heatmap)

from numpy import nan
x = nan
if x:
  print(True)

pd.set_option('display.float_format', '{:.2f}'.format) # просто формат отображения
df = pd.read_csv('cars.csv')
print(df.shape)
print(df.isna().sum())
>>> (4340, 8)
name             0
year             0
selling_price    0
km_driven        0
fuel             0
seller_type      0
transmission     0
owner            0

plt.figure(figsize=(8, 6))
sns.heatmap(df[['year', 'km_driven', 'selling_price']].corr(),
            annot=True, cmap='coolwarm', fmt='.2f')
plt.title('Correlation Matrix of Numerical Features')
plt.show()

•  year и selling_price (Корреляция +0.41)
  Логично? Логично.Машина 2018 года выпуска при прочих равных стоит дороже, чем ее уставший аналог из 2008-го. Однако 0.41 говорит нам о том, что год, конечно же, влияет, но не определяет цену.
  
•  km_driven и selling_price (Корреляция -0.19)
  Связь слабая и отрицательная (обратная). Оказывается, пробег очень плохо объясняет цену.
  
• year и km_driven (Корреляция -0.42)
  Сильная отрицательная связь между самими признаками. Чем старше машина (меньше год), тем больше её пробег. Однако история та же, что и в пункте 1.

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.preprocessing import StandardScaler
# выделяем целевую переменную и признаки
X = df[['year', 'km_driven']] # признаки
y = df['selling_price'] # целевая переменная
# разделяем данные на обучающую и тестовую выборки соотношением 4 к 1.
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# стандартизуем признаки для улучшения качества модели
# (год у нас в среднем 2013, а пробег в среднем 60000.
# это может негативно влиять на обучение модели)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
# создаем стандартную модель линейной регрессии и обучаем её на обучающей выборке
model = LinearRegression()
model.fit(X_train_scaled, y_train)
# делаем предсказания на тестовой выборке
y_pred = model.predict(X_test_scaled)
# оцениваем качество модели с помощью метрик MSE и R2
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print(f'Mean Squared Error: {mse:.2f}')
print(f'R2 Score: {r2:.2f}')
>>> Mean Squared Error: 255707328588.58
>>> R2 Score: 0.16

df_company = df.copy() # создаем копию датасета, чтобы не изменять оригинальные данные
df_company['company'] = df_company['name'].apply(lambda x: x.split()[0])
df_company.drop('name', axis=1, inplace=True) # удаляем ненужный нам столбец 'name'
df_company.head()

mapping = {
    'Individual': 0,
    'Dealer': 1,
    'Trustmark Dealer': 2
}
df_seller = df_fuel.copy()
df_seller['seller_type'] = df_seller['seller_type'].map(mapping)

mapping = {
    'Manual': 0,
    'Automatic': 1
}
df_transmission = df_seller.copy()
df_transmission['transmission'] = df_transmission['transmission'].map(mapping)

mapping = {
    'Test Drive Car': 0,
    'First Owner': 1,
    'Second Owner': 2,
    'Third Owner': 3,
    'Fourth & Above Owner': 4
    }
final_df = df_transmission.copy()
final_df['owner'] = final_df['owner'].map(mapping)

from sklearn.linear_model import Ridge
from sklearn.preprocessing import StandardScaler
X = final_df.drop('selling_price', axis=1) # признаки (все столбцы кроме 'selling_price')
y = final_df['selling_price'] # целевая переменная (столбец 'selling_price')
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2,
                                                    random_state=100500)
# сделаем линейную регрессию и обучим модель на наших данных.
# не забудим про масштабирование данных для лучшей работы модели.
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
model = Ridge(alpha=1.0)
# alpha - это коэффициент регуляризации,
# который контролирует степень штрафа за большие коэффициенты (гиперпараметр)
# у нас он был обозначен через лямбду.
model.fit(X_train_scaled, y_train)
y_pred = model.predict(X_test_scaled)
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print(f'Mean Squared Error: {mse:.2f}')
print(f'R^2 Score: {r2:.2f}')
rmse = mse ** 0.5 # корень из MSE, сколько в среднем ошибались в цене
print(f'RMSE: {rmse:.2f}')
>>> Mean Squared Error: 89174913379.40
>>> R^2 Score: 0.68
>>> RMSE: 298621.69

• 
  — модель объясняет около 68% изменчивости цен автомобилей. Для простой линейной модели это достаточно неплохой результат.
  
• 
  — средняя квадратичная ошибка. Число большое, потому что ошибка измеряется в квадрате денежных единиц. Само по себе интерпретируется плохо.
  
• 
  — уже более понятная метрика: модель в среднем ошибается примерно на 300 тысяч при предсказании цены автомобиля.
  По сравнению с первой версией модели качество заметно выросло: feature engineering и регуляризация дали такой эффект.