Уровень Искусственного интеллекта определяют обучающие данные. Качество и количество данных определяют успех модели. Доступ к общедоступным данным стремительно ограничивается. Это влияет на репрезентативность и актуальность. Эта статья объясняет, как работают обучающие данные и как стать частью «памяти» модели.
Ключевые тезисы
- Данные — топливо ИИ. Без качественных данных модели бесполезны.
- Доступ закрывается. Восемь из десяти крупнейших новостных сайтов блокируют ботов.
- Упоминания снижают неоднозначность. Чем чаще и точнее бренд упоминается, тем лучше.
- SEO и маркетинг работают. Качественный контент повышает позиции в обучающих программах.
- Планируйте заранее. Нельзя задним числом попасть в обучающие данные конкретной модели.
Что такое обучающие данные
Определение
Обучающие данные — это базовый набор данных для обучения больших языковых моделей. Модели прогнозируют наиболее подходящее следующее слово, предложение или ответ. Данные могут быть размеченными или неразмеченными.
Без качественных данных модели бесполезны
Ничто не под запретом. От полуклеветнических твитов до видео с кошками. От великих произведений искусства до литературы. Дело не только в словах. Модели преобразования речи в текст нужно обучать на разных речевых оборотах и акцентах. Даже на эмоциях.
Как это работает
Модели не запоминают, а сжимают данные
Большие языковые модели обрабатывают миллиарды точек данных. Они корректируют внутренние весовые коэффициенты. Этот механизм называется обратное распространение ошибки.
Процесс обучения
Если следующее слово предсказано правильно, система переходит к следующему. Если нет — происходит машинный эквивалент условного рефлекса Павлова. Постучали по голове палкой или сказали «хороший мальчик».
Векторизация
После этого модель может векторизовать. Создавать карту ассоциаций по терминам, фразам и предложениям.
Что происходит:
| Процесс | Описание |
| Преобразование текста в векторы | «Мешок слов» |
| Улавливание семантики | Встраивание слов и предложений |
| Кодирование правил | Набор семантических связей |
Параметрическая память
Правила и нюансы кодируются в виде семантических связей. Это называется параметрическая память. «Знания», встроенные в архитектуру. Чем глубже знания модели, тем реже ей нужны обоснования.
Ограничения параметрической памяти
Модели с большим объёмом параметрической памяти быстрее извлекают точную информацию. Но имеют статичную базу знаний. Они буквально «забывают» некоторые данные.
Непараметрическая память
RAG и динамический веб-поиск — пример непараметрической памяти. Бесконечный масштаб, но низкая скорость. Лучше подходит для новостей и случаев, требующих подтверждения.
Три фактора разработки алгоритмов
| Фактор | Значение |
| Качество | Точность и релевантность данных |
| Количество | Объём данных для обучения |
| Устранение предвзятости | Разнообразие и справедливость |
Проблема качества данных
Если вы обучаете модель на плохо размеченных, исключительно синтетических данных, не ждите точного отражения реальности.
Проблема объёма данных
Компании поглотили всё, что было под рукой. Времена бесплатного доступа к качественному контенту прошли. Две основные причины:
- Интернет полон расизма, злобных комментариев и теорий заговора.
- Восемь из десяти крупнейших новостных сайтов блокируют ботов для обучения ИИ.
Проблема предвзятости
Предвзятость и отсутствие разнообразия — огромная проблема. Людям свойственны предубеждения. Даже создателям моделей. Если в данных преобладают характеристики одних брендов, это усугубляет социальные проблемы.
Важное напоминание
Большие языковые модели — это не искусственный интеллект и не базы данных с фактами. Они анализируют закономерности. Миллиарды числовых значений определяют, какое слово будет следующим.
Как собираются обучающие данные
Процесс сбора
Как и в SEO, здесь всё зависит от обстоятельств. Рассмотрим пример с моделью для распознавания собак.
Этапы сбора данных
| Этап | Действие |
| 1. Сбор | Фотографии собак всех пород и поз |
| 2. Очистка | Структурирование в единый формат |
| 3. Маркировка | Аннотация экспертом |
| 4. Предобработка | Минимизация искажений |
| 5. Разделение | Сохранение части данных для проверки |
Сложность разметки
Разметка данных — трудоёмкий процесс. На аннотирование одного часа видео у человека уходит до 800 часов. Компании нанимают команды специалистов. Им помогают автоматизированные модели слабой разметки.
Микромодели
Компании создают микромодели. Для их работы не нужно столько времени и данных. Люди обучают микромодели после аннотирования нескольких примеров. Модели обучаются сами. Со временем участие человека сокращается. Мы нужны только для проверки результатов.
Типы обучающих данных
Классификация
Обучающие данные классифицируют по степени контроля и роли в жизненном цикле модели.
| Тип | Описание |
| Контролируемый | Каждый вход сопровождается правильным ответом |
| Без присмотра | Модель разбирается сама |
| Полуконтролируемый | Часть данных размечена, модель понимает правила |
| RLHF | Обучение на основе обратной связи от человека |
| Предварительное обучение | Большие массивы для общих знаний |
| Тонкая настройка | Превращение модели в эксперта |
| Мультимодальность | Изображения, видео, текст |
Пограничные данные
Данные, предназначенные для «обмана» модели. Они делают её более надёжной.
Проблема добросовестного использования
23% наборов данных для контролируемого обучения публикуются под исследовательскими лицензиями. Это создаёт проблемы.
Спектр супервизии
Обучение с учителем
Алгоритм получает размеченные данные. Метки определяют выходные данные. Это основа для самостоятельного совершенствования.
Пример: обучение модели распознавать цвета. У каждого цвета десятки оттенков. Точная разметка требует времени и денег.
Обучение без учителя
Модель получает немаркированные данные. Вы загружаете миллионы строк. Потом ругаете модель за неудачу. Это исследовательское «распознавание образов». Не обучение.
Преимущества и недостатки
| Аспект | Обучение с учителем | Обучение без учителя |
| Точность | Высокая | Переменная |
| Стоимость | Высокая | Низкая |
| Масштабируемость | Ограниченная | Высокая |
| Нахождение закономерностей | Ограниченное | Широкое |
Аналогия с беспилотными автомобилями
Беспилотные автомобили попадают в аварии реже. Но когда это происходит, нам кажется это более неприятным. Мы не доверяем технологической автономии. Нас пугает технология. И это правильно.
Борьба с предвзятостью
Три этапа предвзятости
| Этап | Описание |
| Предвзятость к происхождению | Достоверность и объективность данных |
| Предвзятость к развитию | Алгоритмическая предвзятость из данных |
| Предвзятость при развёртывании | Ошибочные результаты в автоматизированных системах |
Почему нужен человек в процессе
Обучение на синтетических или неправильно подобранных данных может обернуться катастрофой. В здравоохранении сбор данных с человеческим фактором может привести к воспроизведению исторического неравенства. Это мрачный цикл подкрепления.
Наиболее используемые источники данных
Common Crawl
Common Crawl — общедоступное веб-хранилище. Бесплатный ресурс с открытым исходным кодом. Содержит исторические и текущие данные веб-краулинга.
Ключевые цифры:
| Показатель | Значение |
| Доменные записи | 607 миллионов |
| Ежемесячный выпуск | 94-163 миллиона доменов |
| Модели, использующие Common Crawl | 64% из 47 проанализированных |
Если вас нет в обучающих данных, вероятность ссылки на вас крайне мала.
Википедия и Викиданные
Английская Википедия содержит 19,88 ГБ полных статей. Викиданные — огромный граф знаний. Высокая структурированность.
Википедия — небольшой процент токенов. Но самый влиятельный источник для определения сущностей. Одно из самых точных и структурированных хранилищ.
Издатели
OpenAI, Gemini и другие имеют многомиллионные лицензионные соглашения.
| Издатель | Сделка |
| News Corp (WSJ, NY Post) | Более 250 миллионов долларов в 2024 |
| The Atlantic | Соглашение с OpenAI |
| FT | Соглашение с OpenAI |
Медиа и библиотеки
Мультимодальное обучение на основе контента.
- Shutterstock (изображения/видео)
- Getty Images (партнёрство с Perplexity)
- Disney (партнёр видеоплатформы Sora с 2026)
Книги
BookCorpus превратил 11 000 неопубликованных книг в 985 миллионов слов. Мы не успеваем писать книги так быстро. Это одна из причин грядущего коллапса моделей.
Репозитории кода
Кодирование — важнейшая функция больших языковых моделей. Cursor и Claude Code созданы на данных GitHub и Stack Overflow.
Общедоступные веб-данные
Разнообразные веб-данные ускоряют сходимость обучения. Снижают требования к вычислениям. Динамичны, но хаотичны. Лучший выбор для больших массивов данных в реальном времени. Отлично подходит для отзывов и мнений о продуктах.
Почему модели не становятся намного лучше
Проблема неразмеченных данных
Большая часть данных не размечена. Не может быть использована в обучении с учителем. Каждая неправильная метка ухудшает эффективность модели.
Грядущий коллапс
По мнению экспертов, осталось несколько лет до исчерпания качественных данных. Инструменты генеративного ИИ начнут потреблять собственный мусор. Это известная проблема, ведущая к краху модели.
Причины
| Причина | Описание |
| Блокировка | Компании не хотят отдавать данные бесплатно |
| Robots.txt | Директивы, блокировка CDN, условия услуг |
| Скорость потребления | Данные потребляются быстрее, чем генерируются |
Последствия
По мере перехода издателей на платный доступ качество моделей ухудшается.
Как получить доступ к обучающим данным
Два подхода
- Определить исходные наборы данных для важных моделей и найти к ним доступ.
- Сосредоточиться на SEO и широком маркетинге.
Плюсы и минусы
| Подход | Плюсы | Минусы |
| Прямой доступ | Точное попадание | «Серая» SEO, сложность |
| SEO и маркетинг | Естественность, устойчивость | Медленный результат |
Рекомендация
Большинству брендов не нужно искать способы попасть в конкретные модели. Это похоже на «серую» SEO. Лучше провести эффективную маркетинговую кампанию. Чтобы о вас делились, цитировали и обсуждали.
Важное предупреждение
Модели обучаются не на актуальных данных. Нельзя задним числом попасть в обучающие данные. Нужно планировать заранее.
Что делать человеку
| Действие | Результат |
| Создание и обмен контентом | Упоминания |
| Подкасты | Цитирование |
| Отраслевые мероприятия | Связи |
| Публикация чужого контента | Расширение охвата |
| Вебинары | Экспертность |
| Привлечение издателей | Публикации |
Как узнать, какие наборы данных используют модели
Проблема скрытности
Компании стали скрытными в отношении данных. Причины юридические и финансовые. Придётся потрудиться.
Общие наборы данных
Все используют несколько огромных наборов с открытым исходным кодом:
- Common Crawl
- Википедия
- Викиданные
- Репозитории кода
Публичные сделки
Большинство сделок публичны. Можно предположить, что модели используют данные с этих платформ.
Примеры
| Компания | Данные |
| Reddit, YouTube | |
| Grok | X (в реальном времени) |
Сторонние поставщики
Компании ИИ пользуются услугами сторонних поставщиков. Scale AI — система обработки данных. Bright Data специализируется на сборе веб-данных.
Контрольный список
Что делать
Мы пытаемся задействовать параметрическую память. Нужно, чтобы модель распознала вас. И с большей вероятностью использовала для RAG.
| Шаг | Действие |
| 1 | Управляйте экосистемой ботов для обучения, индексирования, просмотра |
| 2 | Оптимизация сущностей: NAP, sameAs, граф знаний |
| 3 | Серверный рендеринг контента |
| 4 | Машиночитаемый контент: таблицы, списки, семантический HTML |
| 5 | Делитесь, шумите, распространяйте |
| 6 | Чётко укажите, кто вы, на сайте |
Баланс ассоциаций
Вам нужно уравновесить прямые ассоциации (то, что вы говорите) с семантическими (то, что другие говорят о вас). Сделайте бренд очевидным продолжением фразы.
Формула успеха
Современное SEO с улучшенным маркетингом.
Часто задаваемые вопросы
Вопрос 1: Что такое обучающие данные?
Это базовый набор данных для обучения больших языковых моделей. Модели прогнозируют следующее слово, предложение или ответ. Данные могут быть размеченными или неразмеченными. Без качественных данных модели бесполезны.
Вопрос 2: Почему доступ к данным ограничивается?
Восемь из десяти крупнейших новостных сайтов блокируют ботов. Издатели хотят, чтобы им платили. Robots.txt, блокировка CDN и условия услуг обновлены. Компании ИИ поглотили всё, что было под рукой. Времена бесплатного доступа прошли.
Вопрос 3: Как попасть в обучающие данные?
Два подхода. Первый — определить исходные наборы данных и найти доступ. Второй — сосредоточиться на SEO и маркетинге. Большинству брендов лучше второй. Создавайте контент, делитесь, участвуйте в мероприятиях. Планируйте заранее.
Вопрос 4: Что такое параметрическая память?
Это знания, встроенные в архитектуру модели. Правила и нюансы кодируются как семантические связи. Чем глубже знания, тем реже нужны обоснования. Ограничение — статичная база знаний. Модели «забывают» некоторые данные.
