Все ноды/Integrations/HTTP & Web

Загрузить веб-страницу

Инструмент загрузки веб-страниц для AI Agent: читает контент URL и возвращает текст. Агент вызывает его для получения содержимого конкретных страниц. Подключается через link_extension.

Как попробовать

Как применять

Инструмент, которым агент читает конкретную страницу: нода забирает HTML, вычищает разметку и отдаёт модели текст в Markdown. Обычно её ставят в пару с Web Search — поиск находит адреса, эта нода их открывает. Если URL известен заранее и нужен ответ API со статусом и заголовками, берите HTTP Request: это шаг графа, а не инструмент.

Нода существует только как инструмент: единственный порт tool_out тянется в порт extensions ноды AI Agent. Ни входа исполнения, ни выхода данных у неё нет.

Как это работает

Модель передаёт один аргумент — адрес страницы. Запросы в приватные сети и на loopback заблокированы, и каждый редирект проверяется заново.

Из HTML достаётся основное содержимое: сначала ищется <main>, затем <article>, затем div с классом вида content/main/article, и только потом берётся всё тело страницы. Скрипты, стили, навигация и подвал выбрасываются, остальное конвертируется в Markdown. Ответ, у которого тип содержимого не HTML, возвращается как есть.

Ограничителей три, и работают они в разном порядке. Макс. размер ответа (байты) (по умолчанию 1 000 000) режет сырой ответ до конвертации. Макс. символов (500–50 000, по умолчанию 8000) режет уже готовый Markdown и дописывает в конец пометку об отброшенных символах. Таймаут (секунды) — 20 по умолчанию, максимум 120.

Частые ошибки

• Страница, которая рисуется скриптами. Браузера здесь нет: вернётся каркас документа без данных.
• Поднят только лимит символов. Сырой ответ обрезается раньше — поднимайте оба лимита вместе, иначе конвертация видит оборванный HTML.
• PDF и другие бинарные форматы. Такой ответ не HTML, его вернут как есть, и модель получит нечитаемый текст.
• Расчёт на текст страницы в графе. Содержимое видит только модель, на порт оно не выходит.
• Крупные страницы в длинном диалоге. Каждое чтение добавляет в контекст до Макс. символов — это оплаченные входные токены на каждом следующем ходу.

Входы

—

Выходы

Настройки