Основной текст
`) // Большинство сценариев: использовать конфигурацию по умолчанию p1, _ := html.New() defer p1.Close() r1, _ := p1.Extract(data) fmt.Println(r1.Title) // Нужен только чистый текст (например, для индексации поисковыми системами) p2, _ := html.New(html.TextOnlyConfig()) defer p2.Close() // Вывод в Markdown (например, для миграции CMS) p3, _ := html.New(html.MarkdownConfig()) defer p3.Close() md, _ := p3.ExtractToMarkdown(data) fmt.Println(md) } ``` :::tip Подсказка Начните с предустановки Если не уверены, начните с `DefaultConfig()` и при необходимости скорректируйте отдельные поля. Предустановки можно комбинировать — возьмите одну, а затем переопределите нужные поля: ::: ```go cfg := html.HighSecurityConfig() cfg.PreserveImages = false // Дополнительно отключить изображения поверх высокой безопасности processor, _ := html.New(cfg) ``` ## Обзор шести групп полей ### Управление ресурсами Управление использованием памяти и производительностью. При повседневной разработке обычно не требуется настройка. | Поле | Значение по умолчанию | Описание | |------|--------|------| | `MaxInputSize` | 50 МБ | Максимальный размер ввода, предотвращает исчерпание памяти | | `MaxCacheEntries` | 2000 | Максимальное количество записей в кэше; 0 отключает кэш | | `CacheTTL` | 1 час | Время жизни записей кэша | | `CacheCleanup` | 5 минут | Интервал фоновой очистки устаревшего кэша | | `WorkerPoolSize` | 4 | Уровень параллелизма для пакетной обработки (1–256) | | `ProcessingTimeout` | 30 секунд | Тайм-аут обработки одного документа; 0 — без ограничения | :::warning Предупреждение Кэш действует только для экземпляра Processor Функции уровня пакета (например, `html.Extract`) используют Processor из пула и очищают кэш после каждого вызова. Для использования кэша создайте отдельный Processor через `html.New()`. Подробнее см. в [Повторное использование Processor и кэш](../performance/processor-cache). ::: ### Безопасность Конфигурация безопасности — ключевой аспект для производственных сред. Полное описание возможностей безопасности см. в [Обзоре безопасности](../security/). | Поле | Значение по умолчанию | Описание | |------|--------|------| | `EnableSanitization` | `true` | Санитизация HTML (удаление опасных тегов/атрибутов) | | `MaxDepth` | 500 | Максимальная глубина вложенности DOM, предотвращает переполнение стека | | `AllowedBaseDir` | `""` | Каталог-песочница для файловых операций; пусто = без ограничений | | `Audit` | отключено | Конфигурация журнала аудита безопасности | :::warning Предупреждение AllowedBaseDir При обработке пользовательских путей к файлам обязательно устанавливайте `AllowedBaseDir`. Он определяет реальный путь через дескрипторы файлов ОС (защита от обхода через символические ссылки и Windows junction). ::: ### Извлечение контента Управление тем, какое содержимое извлекается из HTML. | Поле | Значение по умолчанию | Описание | |------|--------|------| | `ExtractArticle` | `true` | Интеллектуальное распознавание статей (автоматическое определение основного контента) | | `PreserveImages` | `true` | Сохранять информацию об изображениях | | `PreserveLinks` | `true` | Сохранять информацию о ссылках | | `PreserveVideos` | `true` | Извлекать видео | | `PreserveAudios` | `true` | Извлекать аудио | Отключение неиспользуемых типов медиа может повысить производительность: ```go cfg := html.DefaultConfig() cfg.PreserveVideos = false cfg.PreserveAudios = false // Извлекать только текст, изображения и ссылки ``` ### Форматы вывода Управление тем, как изображения и ссылки отображаются в текстовом выводе. Подробнее см. в [Форматах вывода на практике](./output-formats). | Поле | Значение по умолчанию | Допустимые значения | |------|--------|--------| | `InlineImageFormat` | `"none"` | `"none"`, `"markdown"`, `"html"`, `"placeholder"` | | `InlineLinkFormat` | `"none"` | `"none"`, `"markdown"`, `"html"` | | `TableFormat` | `"markdown"` | `"markdown"`, `"html"` | | `Encoding` | `""` (авто) | `"utf-8"`, `"gbk"`, `"shift_jis"`, `"windows-1252"` и др. | Если `Encoding` оставить пустым, кодировка определяется автоматически. Указание вручную пропускает этап определения и повышает производительность, но используйте это только при уверенности в кодировке. Подробнее см. в [Определении кодировки на практике](./encoding-detection). ### Извлечение ссылок Следующие поля действуют только в `ExtractAllLinks` и управляют тем, какие типы ссылок на ресурсы извлекаются. Подробнее см. в [Извлечении ссылок на практике](./link-extraction). | Поле | Значение по умолчанию | Описание | |------|--------|------| | `ResolveRelativeURLs` | `true` | Преобразовывать относительные URL в абсолютные | | `BaseURL` | `""` | База для разрешения; пусто — автоопределение из HTML | | `IncludeImages` | `true` | Включать ссылки `