Средства мультимедиа

1. Средства мультимедиа

Мультимедиа - область компьютерной технологии, связанная с
использованием информации, имеющей различное физическое
представление (текст, графика, рисунок, звук, анимация, видео и
т.д.).
Мультимедиа (multimedia - многосредовость) средства - это
комплекс аппаратных и программных средств, позволяющих
человеку общаться с компьютером.
Виртуальная реальность - иллюзорный мир, в который
погружается и с которым взаимодействует человек.

2. Средства мультимедиа.

Устройства аудио и видеоввода и вывода информации;
Высококачественные звуковые (sound-) и видео (video-) платы;
платы видеозахвата (video grabber), снимающие изображение с
видеомагнитофона и видеокамеры и вводящие его в ПК;
высококачественные акустические и видеовоспроизводящие
системы с усилителями, звуковыми колонками, большими
видеоэкранами;
сканеры;
принтеры и плоттеры;
внешние запоминающие устройства на оптических и цифровых
видеодисках (CD-ROM, DVD-ROM, RAM).

3. Системы речевого ввода и вывода информации.

Системы распознавания речи:
ориентированные на распознавание отдельных
слов, команд и вопросов;
распознавания предложений и связной речи;
системы идентификации по образцу речи.
Механизм распознавания речи состоит из четырех
блоков:
препроцессор;
экстрактор;
компаратор;
интерпретатор.

4. Механизм распознавания речи

Препроцессор или модуль сбора данных обеспечивает приведение
речевого сигнала к наиболее качественному виду (производится
автоматическая регулировка усиления, подавление эхо-сигнала, фиксация
наличия или отсутствия речи и интонационного выделения конца фразы
и т. п.).
Экстрактор выполняет спектральный анализ сигнала. Акустикофонетический поток звуков разбивается на короткие кадры
(длительностью примерно по 10 мс) и выявляются спектральные
характеристики каждого кадра.
Компаратор выполняет акустическое сравнение выявленных
характеристик каждого кадра с имеющимися акустико-фонетическими
образцами. Сравнение производится на уровнях выявления контекстнонезависимых фонем, контекстно зависимых фонем и моделей слов.
Интерпретатор решает задачу наилучшего разбиения полученного от
компаратора «алфавитного» потока на слова и фразы.

5. Системы синтеза речи.

Базируются:
на выборке из словаря готовых оцифрованных звуковых
последовательностей;
на синтезаторах речи.
Синтезаторы речи состоят из модулей:
Нормализации (фильтрация шумовых символов текста (знаков
препинания, кавычек, тире, скобок и т. п.);
Преобразования (переводит текст из орфографического в фонетический
формат, из букв в звуки);
Анализа (выполняет одновременно лексикографическую и
синтаксическую обработку для выбора варианта произношения, ритма и
интонации);
Фонетики (обогащает звучание речи дифтонгами, трифтонгами, четырех
звучиями и другими полезными составляющими);
обработки звука (преобразует фонетические данные в звуковые сигналы
генерируемые волновые последовательности (с частотой порядка 10 кГц)
модулируются фонетическим потоком.
Программы: Infovox, Monologue, Pro Verbe.

6. Компьютерные средства обеспечения звуковых технологий.

Звуковые платы (sound blaster) используются для создания, записи
и воспроизведения различных звуковых сигналов.
Функционально плата содержит несколько модулей:
модуль записи и воспроизведения звука;
• Разрядность преобразования определяет динамический диапазон
сигнала;
• Частота дискретизации - верхнюю границу диапазона частот звукового
сигнала.
модуль синтезатора звука;
• FM – синтез (синтез с помощью частотной модуляции или FM-синтез
(Frequency Modulation);
• WT – синтез (синтез с использованием таблицы волн (Wave Table).
модуль интерфейсов.
• Интерфейс музыкальных инструментов MIDI (Musical Instrument
Digital Interface), можно проигрывать компакт-диски, разговаривать через
модем и воспроизводить свою собственную компьютерную музыку.
Устройство смешения сигналов от разных источников;
модемный и игровой порты;
усилитель мощности.

7. Компьютерные средства обеспечения звуковых технологий.

Устройство смешения сигналов от разных источников;
модемный и игровой порты;
усилитель мощности.
Акустические системы (пассивные и активные);

8. Компьютерные средства обеспечения видеотехнологий.

Видеоплата + микросхема акселератор;
Плата видеозахвата (video grabber) выполняет захват кадров
видео, их преобразование и запись в память ПК;
граберы кадров (frame grabber) (предназначены для захвата
неподвижных изображений);
платы захвата (capture board) (могут монтировать целые
видеофильмы).
Средства сжатия данных (CODEC - Compressor DECompressor) Motion, JPEG, INDEO и др.
Технология INDEO - (предшествующая DVI - Digital Video
Interactive).

9. Компьютерные системы оперативной связи. Компьютерная телефония.

Компьютерной телефонией называют технологию CTI
(Computer Telephony Integration), компьютерные
ресурсы применяются для выполнения исходящих и
приема входящих звонков и для управления
телефонным соединением.
Для реализации необходимо иметь:
голосовой (Voice) модем, к одному из входов
которого подключается телефонная линия;
звуковую карту и акустическую систему;
микрофон (телефонный аппарат с тональным
набором).

10. Компьютерная телефония.

Программная поддержка CTI:
в ОС Windows 9x, Windows NT/2000 Server
интегрирован интерфейс для телефонии TAPI
(Telephony API);
фирма Novell и AT&T интерфейс NetWare TSAPI
(Telephony Services API);
фирма AnsveSoft предложила систему Universal
TAPIService Provider для подключения к ПК
офисной АТС;
фирма CallWare Tehnologies разработала
программы: Phonetastic - обслуживания телефонных
вызовов.

11. Компьютерная телефония.

Направления применения:
единообразный доступ к сообщениям разных видов:
голосовых, факсимильных, эл. Почты и т.д.
Голосовая почта;
Электронный офис;
Системы компьютерного факса;
Интерактивные голосовые системы доступа к базам
данных;
Сервисное обслуживание телефонной связи;
Электронный секретарь;
Организация видеоконференций;
Появление своеобразных мультимедийных
станций.

12. Интернет - телефония.

IP-телефония предназначена для передачи голоса, данных и видео
по каналам Интернета;
При организации телефонной связи передается два типа
информации:
командная;
речевая.
Качественная передача зависит от трех факторов:
качества кодирования голоса и размещения голосового трафика в
пакетах;
качества передачи пакета в сети;
успешности восстановления голосового трафика по полученным
пакетам.
Шлюз или телефонный сервер (ITS, Internet Telephony Server осуществляет преобразование управляющей информации и
данных, поступающих из одной сети, в пакеты сети Интернет и
обратно.

13. Интернет - телефония.

Функции шлюза:
реализация физического интерфейса с коммуникационной сетью;
детектирование и генерация сигналов абонентской сигнализации;
преобразование сигналов абонентской сигнализации в пакеты
данных и обратно;
оцифровка и кодирование голосового трафика с использованием
кодеков и специальных анализаторов. На приемном стороне восстановление аналогового сигнала;
сжатие кодированного голосового трафика;
упаковка голосового трафика в пакеты данных и обратная
операция;
соединение абонентов;
передача сети сигнализационных и голосовых пакетов;
разъединение связи.

14. Интернет - телефония.

Факторы снижения качества передачи пакетов:
Задержка - время ожидания передачи пакетов ( не более 250-300 мс);
искажение пакетов;
потеря пакетов и перестановка их во времени.
Для передачи речевых пакетов используется недостоверный
транспортный протокол, например UDP.
Базовые схемы IP - телефонии:
голосовые соединения между двумя компьютерами;
голосовые соединения через Интернет пользователей без
использования компьютера.
Варианты реализации:
программный (все процедуры выполняет ПК), продукт Net Meeting
фирмы Microsoft;
программно-аппаратный (спец. Процессор Digital Signal Prosessor DSP карта), уст-ва фирмы Dialogic, прогр. Фирмы VocalTech.
Соединение по схеме телефон-Интернет-телефон с помощью адаптера
фирмы Aplio.