Презентация

1.

РАЗРАБОТКА ПАРСЕРА
НОВОСТНЫХ TELEGRAMКАНАЛОВ С ФОРМИРОВАНИЕМ
ЕЖЕНЕДЕЛЬНОЙ
АНАЛИТИЧЕСКОЙ ВЫЖИМКИ
СРЕДСТВАМИ ИИ-АГЕНТА
Курсовая работа по дисциплине «Программирование» · ИРИТ-РТФ, Центр ускоренного обучения,
УрФУ · 2026
Студент: К.А. Скуратов (гр. РИЗ-150938у) · Руководитель: С.И. Тимошенко, доц., к.т.н.

2.

ВВЕДЕНИЕ
АКТУАЛЬНОСТЬ И ЦЕЛЬ РАБОТЫ
ПРОБЛЕМА
ЦЕЛЬ
Telegram — ключевой канал новостей. Ручной просмотр десятков
Создать программный комплекс, который в реальном времени
источников трудоёмок. Возникает потребность в
собирает сообщения из Telegram-каналов, сохраняет их в
автоматизированном сборе и формировании аналитических
хранилище и раз в неделю публикует аналитическую выжимку,
сводок.
сформированную ИИ-агентом.

3.

ТЕОРИЯ
КЛЮЧЕВЫЕ ОПРЕДЕЛЕНИЯ
ПАРСЕР
ИИ-АГЕНТ
Программа для автоматического сбора данных из источника
Программный компонент на основе большой языковой
(веб-страницы, API, потока сообщений) и их преобразования
модели, автономно обрабатывающий входные данные по
в структурированный вид.
заданному промпту и формирующий осмысленный
результат.
ОРКЕСТРАТОР РАБОЧИХ ПРОЦЕССОВ
КОНТЕЙНЕРИЗАЦИЯ
Система для описания и автоматического выполнения
Упаковка приложения с зависимостями в изолированный
последовательностей связанных действий между
образ, запускаемый одинаково в любой среде.
сервисами.

4.

ТЕОРИЯ
СРАВНЕНИЕ ЯЗЫКОВ ПРОГРАММИРОВАНИЯ
Критерий
Python
JavaScript (Node.js)
Go
Порог входа
Низкий
Средний
Высокий
Скорость выполнения
Средняя
Средняя
Высокая
Библиотеки для парсинга
Очень богатая экосистема
Богатая (упор на браузер)
Умеренная
Асинхронность
asyncio
Встроенная (event loop)
Горутины
Типовая область
Сбор данных, API, скрипты
Браузерный скрапинг
Высоконагруженный сбор
Выбор для проекта — Python: зрелая асинхронная библиотека Telethon для API Telegram и лаконичность языка ускоряют разработку.

5.

ТЕОРИЯ
БИБЛИОТЕКИ И ВОСТРЕБОВАННОСТЬ НАВЫКА
ПРИМЕНЯЕМЫЕ БИБЛИОТЕКИ
ВОСТРЕБОВАННОСТЬ НА РЫНКЕ ТРУДА
Telethon — асинхронный клиент MTProto для Telegram
Навык парсинга востребован в:
aiohttp — асинхронные HTTP-запросы
requests — синхронные HTTP-запросы
BeautifulSoup / Scrapy — разбор HTML
Selenium / Playwright — управление браузером
Python-разработчик — высокая
Data Engineer — высокая
RPA-специалист — высокая
Backend-разработчик — средняя
Data Scientist / QA — средняя

6.

РАЗРАБОТКА
АРХИТЕКТУРА КОМПЛЕКСА
PARC.PY
Слушает каналы через Telethon, отправляет сообщения в n8n по webhook (JSON)
N8N (KUBERNETES)
Сохраняет в Data Table, по расписанию запускает ИИ-агент для формирования выжимки
NEXT.PY
Получает выжимку и публикует в целевой Telegram-канал

7.

РАЗРАБОТКА
ИИ-АГЕНТ, ПУБЛИКАЦИЯ И
ИНФРАСТРУКТУРА
ИИ-АГЕНТ В N8N
По расписанию (конец недели) рабочий
процесс читает накопленные записи из
KUBERNETESИНФРАСТРУКТУРА
Data Table и передаёт их ИИ-агенту
(DeepSeek). Промпт задаёт задачу —
ресурсов
свести новости в краткую
структурированную сводку.
NEXT.PY — ПУБЛИКАТОР
Получает выжимку через GET-запрос и
публикует в целевой канал. Длинный
текст разбивается на части ≤4000
символов по абзацам.
Namespace tgnews — изоляция
StatefulSet n8n + Longhorn — 20 ГБ
постоянного хранилища
Ingress Traefik + cert-manager —
HTTPS с Let's Encrypt

8.

РЕЗУЛЬТАТ
ИТОГИ И НАПРАВЛЕНИЯ РАЗВИТИЯ
РЕЗУЛЬТАТ РАБОТЫ
ДАЛЬНЕЙШЕЕ РАЗВИТИЕ
Цепочка «сбор → хранение → ИИ-выжимка → публикация»
Дедупликация сообщений по ID и каналу
работает автоматически. Еженедельная сводка публикуется в
Обработка медиавложений
целевой Telegram-канал без ручного вмешательства.
Гибкая настройка списка каналов через интерфейс
Мониторинг и оповещения о сбоях
Тонкая настройка промпта ИИ-агента