AI для PHP-разработчиков. Часть 6: Bag of Words и TF–IDF – как компьютер превращает текст в математику

• в поисковых системах;
  
• в FAQ и helpdesk;
  
• в корпоративных поисковиках;
  
• в рекомендациях документов;
  
• в классификации текстов.

• "Кот ест рыбу"
  
• "Рыбу ест кот"

D1: кот ест рыбу
D2: кот любит рыбу
D3: собака ест мясо

[кот, ест, рыбу, любит, собака, мясо]

кот → 0
ест → 1
рыбу → 2
любит → 3
собака → 4
мясо → 5

[1, 1, 1, 0, 0, 0]

[1, 0, 1, 1, 0, 0]

[0, 1, 0, 0, 1, 1]

• 
  – количество вхождений слова
  
  
• 
  – размер словаря.

• сравнивать документы
  
• обучать классификаторы
  
• искать похожие тексты

• важные слова
  
• служебные слова
  
• редкие, но информативные термины

• слово важно, если оно часто встречается в документе
  
• но оно теряет ценность, если встречается почти во всех документах

• 
  – количество слова
  
• 
  – длина документа

• 0 → слова нет
  
• чем больше значение, тем важнее слово в рамках данного документа

• 
  – натуральный логарифм (его же и используем далее)
  
• 
  – количество документов
  
• 
  – число документов, содержащих слово

• редкое слово → высокий IDF
  
• частое слово → низкий IDF

• "SMTP" будет иметь высокий вес
  
• "как" – почти нулевой

• всего 3 документа
  
• слово "кот" встречается в двух документах

• частое слово внутри документа → вес растёт;
  
• частое слово во всём корпусе → вес падает.

• обычно хранится в разреженном виде (только ненулевые значения)
  
• высокоразмерный
  
• хорошо отражает смысл документа на базовом уровне

• длины документов разные
  
• важна не сумма весов, а направление вектора

$documents = [
    1 => 'Как сбросить пароль пользователя',
    2 => 'Ошибка подключения к базе данных',
    3 => 'Настройка SMTP для отправки почты',
    4 => 'Восстановление доступа к аккаунту пользователя',
];

не могу восстановить пароль пользователя

Документы
   ↓
Токенизация
   ↓
TF–IDF векторы
   ↓
Вектор запроса
   ↓
Cosine Similarity
   ↓
Сортировка результатов

$documents = [
    1 => 'Как сбросить пароль пользователя',
    2 => 'Ошибка подключения к базе данных',
    3 => 'Настройка SMTP для отправки почты',
    4 => 'Восстановление доступа к аккаунту пользователя',
];
$query = 'не могу восстановить пароль пользователя';

• удаляют пунктуацию
  
• нормализуют пробелы
  
• убирают stop-words
  
• приводят слова к нормальной форме

function tokenize(string $text): array {
    $text = mb_strtolower($text);
    return explode(' ', $text);
}

$tokenizedDocs = array_map('tokenize', $documents);
$queryTokens = tokenize($query);

function termFrequency(array $tokens): array {
    $tf = [];
    $count = count($tokens);
    foreach ($tokens as $token) {
        $tf[$token] = ($tf[$token] ?? 0) + 1;
    }
    foreach ($tf as $word => $value) {
        $tf[$word] = $value / $count;
    }
    return $tf;
}

function inverseDocumentFrequency(array $documents): array {
    $df = [];
    $N = count($documents);
    foreach ($documents as $doc) {
        foreach (array_unique($doc) as $word) {
            $df[$word] = ($df[$word] ?? 0) + 1;
        }
    }
    $idf = [];
    foreach ($df as $word => $freq) {
        $idf[$word] = log($N / $freq);
        // Такой вариант формулы использует smoothing и помогает избежать
        // ситуаций, когда очень частые слова получают вес ровно 0
        // $idf[$word] = log(($N + 1) / ($freq + 1)) + 1;
    }
    return $idf;
}

function tfidf(array $tf, array $idf): array {
    $vector = [];
    foreach ($tf as $word => $value) {
        $vector[$word] = $value * ($idf[$word] ?? 0);
    }
    return $vector;
}

$idf = inverseDocumentFrequency($tokenizedDocs);
$documentVectors = [];
foreach ($tokenizedDocs as $id => $tokens) {
    $tf = termFrequency($tokens);
    $documentVectors[$id] = tfidf($tf, $idf);
}

$queryTf = termFrequency($queryTokens);
$queryVector = tfidf($queryTf, $idf);

• чем ближе cosine similarity к 1 → тем ближе направления векторов
  
• чем ближе значение к 0 → тем менее похожи документы

$results = [];
foreach ($documentVectors as $id => $vector) {
    $results[$id] = cosineSimilarity(
        $queryVector,
        $vector
    );
}
arsort($results);
print_r($results);

// Исходные документы для поиска сходства.
$documents = [
    1 => 'Как сбросить пароль пользователя',
    2 => 'Ошибка подключения к базе данных',
    3 => 'Настройка SMTP для отправки почты',
    4 => 'Восстановление доступа к аккаунту пользователя',
];
// Converts text to lowercase and splits by spaces.
function tokenize(string $text): array {
    $text = mb_strtolower($text);
    return explode(' ', $text);
}
// Вычисляет нормализованную частоту встречаемости терминов в одном документе.
function termFrequency(array $tokens): array {
    $tf = [];
    $count = count($tokens);
    foreach ($tokens as $token) {
        $tf[$token] = ($tf[$token] ?? 0) + 1;
    }
    foreach ($tf as $word => $value) {
        $tf[$word] = $value / $count;
    }
    return $tf;
}
// Вычисляет обратную частоту встречаемости документа по всем документам.
function inverseDocumentFrequency(array $documents): array {
    $df = [];
    $N = count($documents);
    foreach ($documents as $doc) {
        foreach (array_unique($doc) as $word) {
            $df[$word] = ($df[$word] ?? 0) + 1;
        }
    }
    $idf = [];
    foreach ($df as $word => $freq) {
        $idf[$word] = log($N / $freq);
        // Такой вариант формулы использует smoothing и помогает избежать ситуаций,
        // когда очень частые слова получают вес ровно 0
        // $idf[$word] = log(($N + 1) / ($freq + 1)) + 1;
    }
    return $idf;
}
// Создает TF-IDF вектор для одного документа/запроса.
function tfidf(array $tf, array $idf): array {
    $vector = [];
    foreach ($tf as $word => $value) {
        $vector[$word] = $value * ($idf[$word] ?? 0);
    }
    return $vector;
}
// Измеряет сходство между двумя разреженными векторами.
function cosineSimilarity(array $a, array $b): float {
    $dot = 0;
    $normA = 0;
    $normB = 0;
    $words = array_unique(array_merge(
        array_keys($a),
        array_keys($b)
    ));
    foreach ($words as $word) {
        $va = $a[$word] ?? 0;
        $vb = $b[$word] ?? 0;
        $dot += $va * $vb;
        $normA += $va * $va;
        $normB += $vb * $vb;
    }
    if ($normA == 0 || $normB == 0) {
        return 0;
    }
    return $dot / (sqrt($normA) * sqrt($normB));
}
// Предварительно вычислить токенизированные документы,
// IDF-коды и векторы TF-IDF для документов.
$tokenizedDocs = array_map('tokenize', $documents);
$idf = inverseDocumentFrequency($tokenizedDocs);
$documentVectors = [];
foreach ($tokenizedDocs as $id => $tokens) {
    $tf = termFrequency($tokens);
    $documentVectors[$id] = tfidf($tf, $idf);
}
$query = 'не могу восстановить пароль пользователя';
$queryTokens = tokenize($query);
$queryTf = termFrequency($queryTokens);
$queryVector = tfidf($queryTf, $idf);
$results = [];
foreach ($documentVectors as $id => $vector) {
    $results[$id] = cosineSimilarity(
        $queryVector,
        $vector
    );
}
arsort($results);
echo 'Results:' . "\n";
foreach ($results as $id => $score) {
    echo 'Document ' . $id . ': ' . round($score, 2) . ' (' . $documents[$id] . ')' . "\n";
}
echo "\n" . "\n";
echo 'Document vectors:' . "\n";
foreach ($documentVectors as $id => $vector) {
    echo 'Document ' . $id . ': ' . "\n";
    print_r($vector);
    echo "\n";
}
echo "\n";
echo 'IDF:' . "\n";
print_r($idf);

Array (
    [1] => 0.62017367294604
    [4] => 0.11952286093344
    [2] => 0
    [3] => 0
)

• "Как сбросить пароль пользователя"
  
• "Восстановление доступа к аккаунту пользователя"

• SMTP не имеет ничего общего с запросом
  
• ошибка базы данных тоже нерелевантна
  
• документ про восстановление доступа получил ненулевое сходство в основном благодаря совпадению слова "пользователя"

• "восстановить" и "восстановление" связаны
  
• "пароль" и "доступ" могут быть близкими по смыслу

• "восстановить"
  
• "восстановление"

• "доступ"
  
• "пароль"

• stemming
  
• lemmatization
  
• word embeddings
  
• transformer‑модели