Mashinka Parser UI

Настройки и действия

Parsing и импорт

Источник

Дата с

Дата по

Per page

Max pages

Оставьте `Max pages` пустым, чтобы не ограничивать количество страниц.

Fetch ходит в API mos.ru, сохраняет JSONL в `runtime/data` и наполняет `parser.data`.

Импорт JSONL

В `runtime/data` сейчас нет JSONL-файлов для импорта.

Дополнительный JSONL вручную

Обзор

Повторный импорт

Пропускать уже импортированные публикации Перезаписывать и обновлять публикации

Лимит строк импорта для теста

Оставьте лимит пустым для полного импорта и автоматического переноса файла. При заданном лимите файл остается на месте.

После полного успешного импорта файлы будут перемещены в `runtime/data/imported`.

AI Enrichment

Источник

Режим

Дата с

Дата по

Provider Model

Для provider=app_llm модель берётся из конфигурации Машинки (LLM_LOCAL_MODEL/LLM_EXT_MODEL).

Prompt version

Упрощенная конфигурация для Qwen/Qwen3-4B. Модель получает короткий общий промпт и один групповой промпт за вызов. Metadata сначала обрабатывается кодом: sphere.title и themes[] через справочник, tags[] сначала через lookup существующих entity-таблиц, затем через deterministic classifier. В LLM по metadata передается только unresolved остаток. Территориальные district.id / area.id и технические district.title / area.title обрабатываются в коде, а не через модель. Логика режимов, merge, dedupe, blacklist, strict type contracts и auto-approval выполняются в коде приложения. В UI рекомендуется выводить только quality_mode, extract-meta и extract-meta-only.

Enrichment state

Извлечение сущностей

Режим качества извлечения

Определяет, сколько запросов к локальной модели будет выполнено и насколько узкими будут задачи извлечения. Сбалансированный режим рекомендуется для обычной обработки новостей.

Использовать метаданные новости

Если включено, система дополнительно использует metadata-поля sphere.title, themes[] и tags[] для извлечения сущностей.

Извлекать только из метаданных

Диагностический режим. Если включен, система не анализирует текст новости и извлекает сущности только из metadata.

Debug group

Debug entity_type

Для режима debug нужно выбрать группу или тип сущности. Если не выбрано — запуск будет запрещён.

Статус кандидата

Confidence min

Лимит для теста

Только новые сущности (тег "Новые") Поиск по публикациям Поиск по значению сущности

Страница

Размер страницы

Content item ID

Review-экран показывает текст публикации слева и кандидатов сущностей справа. `mock` нужен для проверки workflow без вызова LLM.

RAG pipeline

RAG Control

Local/provider preset

Local FastAPI preset использует `scripts/llm-embed` на `:8001` и подходит под текущий `vector(1536)`. DeepSeek сработает только если endpoint реально поддерживает `/embeddings`.

Дата RAG с

Дата RAG по

Источник RAG

Режим обновления

Размер чанка

Перекрытие чанков

Провайдер эмбеддингов

Provider/model/dimensions/base URL заполняются выбранным preset. Для ручного ввода выберите `Ручные настройки`.

Модель эмбеддингов

Размерность вектора

Размер batch

Base URL провайдера API key провайдера

Для `scripts/llm-embed` по умолчанию используется `local-embed-key`. Для Docker parser URL обычно `http://host.docker.internal:8001/v1`.

Лимит обработки для теста

Кнопка выполнит весь сценарий: проверка конфигурации, preview чанков, создание чанков, preview эмбеддингов, создание эмбеддингов и итоговый статус. Пустой лимит означает production-режим без ограничения; для тестов задайте число вручную.

Медиа-библиотека

Дата публикаций с

Дата публикаций по

Лимит обработки медиа для теста

Даты ограничивают media pipeline публикациями из выбранного периода. Пустой лимит означает обработку всего найденного объема; для тестов задайте число вручную. Скачивание помечает asset как `downloading`, поэтому повторный запуск или второй оператор не заберет тот же файл параллельно.

Parser хранит только два файла на media asset: original/master в `storage_uri` и thumb/preview в `preview_uri`. Остальные размеры и crop создаются в Машинке при размещении.

Рекомендации для Машинки

Контекст рекомендации

Частные операции и диагностика

Эти кнопки нужны для отладки отдельных стадий, а основной сценарий запускается одной верхней кнопкой.

OK exit 0

php bin/parser parse:status

Последние успешные парсинги

Успешных запусков пока нет.

Журнал запусков

Запусков пока нет.

last_successful

[]

recent_runs

[]

Raw output

{
    "last_successful": [],
    "recent_runs": []
}

Запуск UI

./scripts/parser/up.sh
open http://localhost:8091

Первичная инициализация БД

./scripts/parser/up.sh
./scripts/parser/apply-schema.sh