Импорт данных с веб-сайта

База знаний поддерживает сбор контента с публичных веб-страниц с помощью сторонних инструментов, таких как Jina Reader и Firecrawl, его разбор в Markdown-контент и импорт в базу знаний. В следующих разделах по очереди описаны способы использования Firecrawl и Jina Reader.

​

Firecrawl

​

1. Настройте учётные данные API для Firecrawl

Нажмите на аватар в правом верхнем углу, перейдите на страницу Источник данных и нажмите кнопку Настроить рядом с Firecrawl. Войдите на сайт Firecrawl, завершите регистрацию, получите свой API Key, а затем введите и сохраните его в Интеллос.

​

2. Соберите целевую веб-страницу

На странице создания базы знаний выберите Синхронизировать с веб-сайта, укажите Firecrawl в качестве провайдера и введите целевой URL для сбора. Доступны следующие параметры конфигурации: сканировать ли подстраницы, лимит сканируемых страниц, максимальная глубина сбора страниц, исключаемые пути, включаемые только пути и область извлечения контента. После завершения настройки нажмите Запустить, чтобы просмотреть разобранные страницы.

​

3. Просмотрите результаты импорта

После импорта разобранного текста с веб-страницы он сохраняется в документах базы знаний. Просмотрите результаты импорта и нажмите Добавить URL, чтобы продолжить импорт новых веб-страниц.

​

Jina Reader

​

1. Настройте учётные данные Jina Reader

Нажмите на аватар в правом верхнем углу, перейдите на страницу Источник данных и нажмите кнопку Настроить рядом с Jina Reader. Войдите на сайт Jina Reader, завершите регистрацию, получите API Key, затем введите его и сохраните.

​

2. Используйте Jina Reader для сбора веб-контента

На странице создания базы знаний выберите Синхронизировать с веб-сайта, укажите Jina Reader в качестве провайдера и введите целевой URL для сбора. Доступны следующие параметры конфигурации: сканировать ли подстраницы, максимальное количество сканируемых страниц и использовать ли карту сайта для сбора. После завершения настройки нажмите кнопку Запустить, чтобы просмотреть ссылки на страницы, которые будут собраны. После импорта разобранного текста с веб-страниц в базу знаний вы можете просмотреть результаты импорта в разделе документов. Чтобы добавить ещё веб-страницы, нажмите кнопку Добавить URL справа и продолжите импорт новых страниц. После завершения сбора контент с веб-страниц будет добавлен в базу знаний.