Обсуждение:TF-IDF

Материал из MachineLearning.

Версия 18:03, 13 июля 2026

Напиши статью для MachineLearning.ru на русском языке на тему «TF-IDF».

Целевая аудитория: студенты профильных вузов, математики, специалисты по обработке естественного языка и практикующие ML-инженеры. Стиль — энциклопедическая вики-статья: строго, содержательно, без рекламного, разговорного и водянистого текста. Статья должна выглядеть как законченная страница MachineLearning.ru, а не как сырой текст, сгенерированный LLM.

В начале статьи обязательно добавь код в точности:

Статья написана с использованием LLM GPT-5.5 Thinking и проверена участником Eva Vallistu 22:03, 13 июля 2026 (MSD) Промпт приводится полностью в Обсуждение:TF-IDF

Пиши только в MediaWiki-разметке, без Markdown. Математические формулы оформляй через , код — через блок:

...

Используй внутренние ссылки MachineLearning.ru на связанные термины: Обработка естественного языка, Информационный поиск, Мешок слов, Векторное представление текста, Косинусное сходство, Машинное обучение, Классификация, Кластеризация, Стоп-слово, Стемминг, Лемматизация.

Обязательно раскрой содержание, а не только приведи формулу:

• введи интуицию TF-IDF и объясни, почему частота слова внутри документа должна учитывать распространённость этого слова во всей коллекции;
• введи обозначения для корпуса документов, отдельного документа, терма и словаря;
• дай строгие определения частоты терма TF, документной частоты DF и обратной документной частоты IDF;
• приведи классическую формулу TF-IDF;
• объясни различные варианты вычисления TF: абсолютную частоту, относительную частоту, логарифмическое масштабирование и расширенную частоту;
• опиши варианты вычисления IDF, включая сглаживание и формулы, используемые в практических библиотеках;
• объясни смысл логарифма в формуле IDF и влияние основания логарифма;
• покажи, как документ преобразуется в разреженный вектор признаков;
• объясни нормализацию TF-IDF-векторов с использованием норм и ;
• подробно опиши этапы построения TF-IDF-представления корпуса;
• добавь небольшой численный пример с несколькими документами и пошагово вычисли TF, DF, IDF и итоговые веса;
• объясни применение TF-IDF в информационном поиске, классификации текстов, кластеризации документов, поиске ключевых слов и измерении сходства текстов;
• покажи связь TF-IDF с моделью «мешка слов» и косинусным сходством;
• объясни влияние токенизации, регистра, пунктуации, стоп-слов, стемминга, лемматизации и использования n-грамм;
• укажи достоинства, ограничения и вычислительную сложность метода;
• отдельно опиши проблемы TF-IDF: игнорирование порядка слов, отсутствие учёта семантики, высокая размерность, разреженность, зависимость от корпуса и слабая обработка синонимии и многозначности;
• сравни TF-IDF с бинарным представлением, обычными счётчиками слов, BM25 и плотными векторными представлениями текста;
• поясни, в каких задачах TF-IDF остаётся предпочтительным, а в каких целесообразно использовать эмбеддинги;
• добавь пример самостоятельной реализации на Python;
• добавь пример использования TfidfVectorizer из библиотеки scikit-learn;
• в примере выведи словарь признаков, матрицу TF-IDF и косинусное сходство между документами.

Структура статьи:

Основные понятия и определения

Вычисление TF-IDF

Пример вычисления

Предобработка текста

Применение

Свойства

Реализация

См. также

Литература

В разделе «Основные понятия и определения» последовательно введи корпус

,

терм , частоту терма , документную частоту и обратную документную частоту .

В качестве основной формулы используй запись:

Приведи один из базовых вариантов IDF:

Также покажи сглаженный вариант:

Уточни, что конкретные определения TF, IDF, сглаживания и нормализации могут различаться между реализациями, поэтому при сравнении результатов необходимо учитывать используемую формулу.

В разделе «Свойства» обязательно создай подразделы:

Достоинства

Ограничения

Вычислительная сложность

Сравнение с другими представлениями текста

В разделе «Реализация» сначала приведи понятную самостоятельную реализацию TF-IDF на Python без использования TfidfVectorizer, а затем отдельный пример с sklearn.feature_extraction.text.TfidfVectorizer. Код должен быть корректным, запускаемым и согласованным с формулами статьи.

Не используй вымышленные функции, библиотеки или результаты выполнения. Не утверждай, что TF-IDF учитывает смысл, контекст или порядок слов. Чётко разделяй свойства базового TF-IDF и возможности дополнительных методов предварительной обработки текста.

В разделе «См. также» используй список через символ *.

В разделе «Литература» используй только вики-шаблоны {{{заглавие}}}. и {{{заглавие}}}.. Не оформляй источники обычным текстом. Включи только реально существующие и непосредственно связанные с темой источники, в том числе классические работы по статистическому взвешиванию терминов, векторной модели информационного поиска и современные учебники по информационному поиску. Не добавляй вымышленные DOI, ISBN, названия статей, выпуски журналов или номера страниц.

В конце добавь категории:

Выведи только готовый MediaWiki-код статьи, без Markdown-ограждений и без пояснений вне статьи.