Введение
Специалисты проанализировали 1,2 миллиона результатов поиска, чтобы понять, как ИИ выбирает контент. Вердикт оказался неожиданным: это занятой редактор, а не терпеливый ученик. ChatGPT уделяет непропорционально много внимания первым 30% вашего контента.
В этой статье приведены результаты анализа 1,2 миллиона ответов ChatGPT на вопрос о том, как повысить вероятность того, что вашу статью процитируют. Мы разберем пять явных характеристик контента, который цитируется чаще всего, и рассмотрим практические выводы для авторов, работающих в эпоху искусственного интеллекта.
Ключевые тезисы статьи
Прежде чем перейти к деталям, сформулируем основные идеи, которые раскрывает это исследование:
- ChatGPT демонстрирует паттерн «трамплин»: 44,2% всех цитирований приходится на первые 30% текста.
- ИИ читает внимательно: 53% цитирований приходится на середину абзаца, а не только на первое предложение.
- Пять характеристик повышают вероятность цитирования: окончательный язык, структура вопрос-ответ, богатство сущностей, сбалансированное настроение и простое письмо.
- Контент с высокой заметностью больше похож на структурированный брифинг, чем на рассказ.
- Победители используют лексику делового стиля и высокую плотность сущностей.
Теперь рассмотрим каждый из этих пунктов подробнее.
Часть 1. Где ChatGPT цитирует контент: паттерн «трамплин»
Распределение цитирований по тексту
О том, на какие части текста ссылаются большие языковые модели, известно немного. Было проанализировано 18 012 упоминаний и обнаружино распределение по типу «трамплин».
44,2% всех цитирований приходится на первые 30% текста. ИИ читает как журналист. Он выхватывает из текста «кто, что, где». Если ключевая мысль содержится во введении, вероятность того, что ее процитируют, высока.
31,1% цитирований приходится на 30-70% текста. Если вы спрячете ключевые характеристики продукта в двенадцатом абзаце поста из двадцати абзацев, вероятность того, что ИИ процитирует его, снизится в 2,5 раза.
24,7% цитирований приходится на последнюю треть статьи. Это доказывает, что искусственный интеллект «просыпается» в конце статьи, как и люди. Он пропускает сам низкий колонтитул, но любит раздел «Резюме» или «Выводы» прямо перед нижним колонтитулом.
Почему возникает паттерн «трамплин»
Возможными причинами появления этого паттерна являются особенности обучения и повышения эффективности.
Большие языковые модели обучаются на журналистских и научных статьях, которые имеют структуру BLUF (Bottom Line Up Front). Модель запоминает, что самая важная информация всегда находится в начале.
Хотя современные модели могут обрабатывать до 1 миллиона токенов за одно взаимодействие, они стремятся как можно быстрее установить контекст, а затем интерпретировать все остальное в его рамках.
Статистическая достоверность
Восемнадцать тысяч из 1,2 миллиона цитирований дают нам всю необходимую информацию. Значение P в этом анализе равно 0,0, что означает его статистическую достоверность. Я разделил данные на пакеты (рандомизированные проверочные выборки), чтобы продемонстрировать стабильность результатов.
Первая партия была немного ниже по качеству, но вторая, третья и четвертая партии практически идентичны. Поскольку партии 2, 3 и 4 были выпущены в одно и то же время, данные стабильны на протяжении всех 1,2 миллиона публикаций.
Несмотря на то, что эти выборки подтверждают стабильность на макроуровне того, на что обращает внимание ChatGPT при работе с документом, они поднимают новый вопрос о его детальном поведении: сохраняется ли эта тенденция к сосредоточению на верхней части документа даже в пределах одного блока текста или фокус внимания ИИ меняется по мере углубления в текст?
Глубокий анализ: где внутри абзаца ИИ находит цитаты
Глубокий анализ 1000 фрагментов контента с большим количеством цитирований показал, что 53% цитирований приходится на середину абзаца. Только 24,5% цитирований приходится на первое предложение абзаца, а 22,5% — на последнее.
ChatGPT не «ленится» и не читает только первое предложение каждого абзаца. Он читает внимательно. ChatGPT ищет предложение с наибольшей информационной ценностью, независимо от того, какое это предложение по счету — первое, второе или пятое в абзаце.
В сочетании с паттерном «трамплин» мы можем сделать вывод, что наибольшие шансы на цитирование дают абзацы в первых 20% текста.
Часть 2. Пять характеристик контента, который цитирует ChatGPT
Мы знаем, где в контенте ChatGPT любит цитировать, но какие характеристики влияют на вероятность цитирования? Анализ выявил пять выигрышных характеристик.
Характеристика 1. Окончательный язык
В цитатах, получивших наибольшее количество упоминаний, почти в два раза чаще (36,2% против 20,2%) встречаются точные формулировки, такие как «определяется как» или «относится к». Цитируемый текст не обязательно должен быть дословным определением, но связь между понятиями должна быть очевидной.
В векторной базе данных слово «is» выступает в качестве связующего звена между подлежащим и его определением. Когда пользователь спрашивает «Что такое X?», модель ищет наиболее подходящий векторный путь, который почти всегда представляет собой прямую структуру «X — это Y».
Модель пытается сразу же ответить пользователю. Она предпочитает текст, который позволяет ответить на запрос одним предложением (Zero-Shot), а не синтезировать ответ из пяти абзацев.
Вывод: начинайте свои статьи с прямого утверждения.
Плохо: «В нашем быстро меняющемся мире автоматизация становится ключевым фактором…»
Хорошо: «Автоматизация демонстрации — это процесс использования программного обеспечения для…»
Характеристика 2. Разговорный стиль письма
В цитируемом тексте в два раза чаще (18% против 8,9%) встречается вопросительный знак. Когда мы говорим о разговорном стиле письма, мы имеем в виду взаимодействие вопросов и ответов.
Начните с вопроса, который пользователь вам задал, и сразу же дайте на него ответ.
Стиль победителя: «Что такое алгоритмическое SEO? Это…»
Стиль неудачника: «В этой статье мы рассмотрим различные нюансы…»
78,4% цитат с вопросами взяты из заголовков. ИИ воспринимает тег H2 как запрос пользователя, а следующий за ним абзац — как сгенерированный ответ.
Пример структуры проигравшего:
H2: История SEO
P: Все началось в начале 90-х…
Пример структуры победителя:
H2: Когда появилось SEO?
P: SEO зародилось в…
Этот конкретный пример выигрывает за счет того, что я называю «эхом сущности»: в заголовке речь идет о SEO, а первое слово в ответе — SEO.
Характеристика 3. Разнообразие сущностей
В обычном английском тексте плотность сущностей (то есть количество имен собственных, таких как названия брендов, инструментов, имена людей) составляет примерно 5-8%. В тексте с большим количеством цитат плотность сущностей достигает 20,6%.
Показатель в 5-8% — это лингвистический ориентир, основанный на стандартных корпусах текстов, таких как Brown Corpus и Penn Treebank.
Пример:
Неудачное предложение: «Для этой задачи существует множество хороших инструментов». (0% плотности)
Победное предложение: «Среди лучших инструментов — Salesforce, HubSpot и Pipedrive». (Плотность 30%)
Большие языковые модели работают по вероятностному принципу. Общие рекомендации («выберите хороший инструмент») рискованны и расплывчаты, а конкретные предложения («выберите Salesforce») обоснованы и поддаются проверке.
Модель отдает предпочтение предложениям, содержащим «якоря» (конкретные сущности), поскольку они снижают перплексию (запутанность) ответа. Предложение с тремя сущностями содержит больше «битов» информации, чем предложение с нулевым количеством сущностей. Так что не бойтесь использовать имена собственные, даже если речь идет о ваших конкурентах.
Характеристика 4. Сбалансированные эмоции
Согласно анализу, цитируемый текст имеет сбалансированный показатель субъективности — 0,47. Показатель субъективности — это стандартная метрика в области обработки естественного языка, которая измеряет степень выраженности личного мнения, эмоций или суждений в тексте.
Оценка выставляется по шкале от 0,0 до 1,0.
0,0 (чистая объективность): текст содержит только достоверные факты. Никаких прилагательных, никаких эмоций. Пример: «iPhone 15 был выпущен в сентябре 2023 года».
1,0 (чистая субъективность): текст содержит только личные мнения, эмоции или яркие описания. Пример: «iPhone 15 — это потрясающий шедевр, который мне очень нравится».
Искусственному интеллекту не нужен ни сухой текст из Википедии (0,1), ни необдуманные высказывания (0,9). Ему нужен «голос аналитика». Он предпочитает предложения, которые объясняют, как применим тот или иной факт, а не просто приводят статистику.
«Победный» тон выглядит так (оценка примерно 0,5): «Несмотря на то, что в iPhone 15 установлен стандартный чип A16 (факт), его производительность при съемке в условиях недостаточной освещенности делает его идеальным выбором для создателей контента (анализ/мнение)».
Характеристика 5. Деловое письмо
Тексты бизнес-уровня, например, из The Economist или Harvard Business Review, цитируются чаще. У «победителей» показатель по шкале Флеша-Кинкейда составляет 16 баллов (уровень колледжа), а у «проигравших» — 19,1 (уровень аспирантуры).
Даже в сложных темах излишняя сложность может навредить. Оценка 19 баллов означает, что предложения длинные, витиеватые и изобилуют многосложными терминами. ИИ предпочитает простые структуры «подлежащее — сказуемое — дополнение» с короткими или умеренно длинными предложениями, потому что из них легче извлекать факты.
Часть 3. Часто задаваемые вопросы
Почему ChatGPT уделяет больше внимания началу текста?
Это связано с особенностями обучения больших языковых моделей. Они обучаются на журналистских и научных статьях, которые имеют структуру BLUF (Bottom Line Up Front). Модель запоминает, что самая важная информация всегда находится в начале. Кроме того, модели стремятся как можно быстрее установить контекст, а затем интерпретировать все остальное в его рамках.
Нужно ли писать первое предложение каждого абзаца как ключевое?
Нет, это распространенное заблуждение. Исследование показало, что только 24,5% цитирований приходится на первое предложение абзаца. ChatGPT ищет предложение с наибольшей информационной ценностью, независимо от того, какое это предложение по счету. Главное — чтобы абзац в целом находился в первых 20% текста.
Что такое «эхо сущности» и как его использовать?
«Эхо сущности» — это прием, при котором ключевое понятие из заголовка повторяется в первом предложении ответа. Например, в заголовке «Когда появилось SEO?» первое слово в ответе — «SEO». Это помогает ИИ быстрее установить связь между запросом и ответом, что повышает вероятность цитирования.
Какой стиль письма лучше всего подходит для цитирования в ИИ?
Оптимальный стиль — это «голос аналитика» с показателем субъективности около 0,5. Текст должен содержать факты, но также объяснять их применение и значение. Слишком сухой текст из Википедии или чрезмерно эмоциональные высказывания цитируются реже. Также важно использовать простые структуры предложений и деловой язык уровня колледжа, а не аспирантуры.
Заключение
Паттерн «трамплин» показывает несоответствие между повествовательным текстом и поиском информации. Алгоритм интерпретирует медленное раскрытие информации как неуверенность. Он отдает приоритет немедленной классификации сущностей и фактов.
Контент с высокой заметностью больше похож на структурированный брифинг, чем на рассказ. Это накладывает на автора «налог на ясность». Победители в этом соревновании используют лексику делового стиля и высокую плотность сущностей, опровергая теорию о том, что ИИ поощряет упрощение контента.
Мы пишем не только для роботов, пока. Но разрыв между человеческими предпочтениями и ограничениями машин сокращается. В деловой переписке люди ищут полезную информацию. Выдвигая на первый план выводы, мы учитываем архитектуру алгоритма и нехватку времени у читателя.
Как сказал писатель и публицист Уильям Зинсер: «Писать — это думать на бумаге. Хорошее письмо — это ясное мышление». В эпоху искусственного интеллекта это правило становится еще более актуальным. Ясность и структура помогают не только людям, но и машинам понимать ваш контент.
Используйте эти принципы, и ваш контент будет цитироваться чаще.
Методология
Чтобы понять, где и почему ИИ цитирует контент, мы проанализировали код. Все данные для этого исследования взяты из Gauge.
Сервис Gauge предоставил около 3 миллионов ответов, сгенерированных искусственным интеллектом в ChatGPT, а также 30 миллионов ссылок. Веб-контент по каждой ссылке был извлечен на момент получения ответа, чтобы обеспечить прямую связь между реальным веб-контентом и самим ответом. Извлекались как необработанный HTML-код, так и обычный текст.
Набор данных
Мы начали с 1,2 миллиона результатов поиска и ответов, сгенерированных искусственным интеллектом. Из них мы отобрали 18 012 проверенных цитат для позиционного анализа и 11 022 цитаты для анализа «лингвистической ДНК».
Значимость: размер выборки достаточно велик, чтобы получить значение P, равное 0,0, то есть выявленные закономерности статистически достоверны.
Двигатель «Харвестер»
Чтобы точно определить, какое именно предложение цитирует ИИ, мы использовали семантические вложения (подход на основе нейронных сетей).
Модель: мы использовали all-MiniLM-L6-v2 — модель на основе синтаксического трансформера, которая понимает смысл, а не просто ключевые слова.
Процесс: мы преобразовали каждый ответ ИИ и каждое предложение исходного текста в 384-мерные векторы. Затем мы сопоставили их с помощью косинусного сходства.
Фильтр: мы установили строгий порог сходства (0,55), чтобы отсеивать слабые совпадения или ложные срабатывания и анализировать только цитаты с высокой степенью достоверности.
Показатели
Как только мы нашли точное совпадение, мы измерили два параметра.
Позиционная глубина: мы точно рассчитали, на каком участке HTML-кода появился цитируемый текст.
Лингвистическая ДНК: мы сравнили «победителей» (вступительные слова, которые цитировали) и «проигравших» (вступительные слова, которые пропускали) с помощью методов обработки естественного языка, чтобы оценить показатель определенности, плотность сущностей и субъективность.
