Задание 1. Теоретическая часть

Вариант 6. Программное и аппаратное обеспечение

мультимедиа

Слово мультимедиа в буквальном переводе означает много средств для представления информации пользователю. Компьютер без средств мультимедиа сегодня уже не считается полноценным. Многие относятся к этим средствам чуть ли не как к возможности превратить свою жизнь в сказку. Это, пожалуй, преувеличение, хотя иногда и оправданное.

Термин мультимедиа используют для характеристики компьютерных систем, графической, звуковой, видео - и иной информации. Существенно, что этот синтез и обработку информации сегодня удаётся выполнять практически в реальном времени, то есть без ощутимой пользователем задержки во времени. Расцвет мультимедиа в середине 90-х годов связывают с быстродействием и памятью, достигнутыми в системах Pentium, и в частности, с возможностями записи и воспроизведения больших объёмов информации с помощью компакт-дисков CD-ROM. До этого времени по техническим причинам использование компьютерных средств для нужд образования, науки, искусства выглядело довольно блекло по сравнению с традиционными средствами. Однако сегодня средства мультимедиа имитируют реальность для многих целей вполне удовлетворительно.[1]

1. Аппаратные средства

Для построения мультимедиа системы необходима дополнительная аппаратная поддержка: аналого-цифровые и цифроаналоговые преобразователи для перевода аналоговых аудио и видео сигналов в цифровой эквивалент и обратно, видеопроцессоры для преобразования обычных телевизионных сигналов к виду, воспроизводимому электронно-лучевой трубкой дисплея, декодеры для взаимного преобразования телевизионных стандартов, специальные интегральные схемы для сжатия данных в файлы допустимых размеров и так далее. Все оборудование отвечающее за звук объединяются в так называемые звуковые карты, а за видео в видео карты. Дальше рассматривается подробно и в отдельности об устройстве и характеристиках звуковых карт, видео карт и CD-ROM приводах.

Аппаратные средства мультимедиа:

-  Средства звукозаписи;

-  Звуковоспроизведении;

-  Манипуляторы;

-  Средства «виртуальной реальности»;

-  Носители информации (CD-ROM);

-  Средства передачи;

-  Средства записи;

-  Обработки изображения;

Звуковые карты

С течением времени перечень задач выполняемых на ПК вышел за рамки просто использования электронных таблиц или текстовых редакторов. Компакт- диски со звуковыми файлами, подготовка мультимедиа призентаций, проведение видео конференций и телефонные средства, а также игры и прослушивание аудио CD для всего этого необходимо чтобы звук стал неотъемлемой частью ПК. Для этого необходима звуковая карта. Любители игр будут удовлетворены новыми возможностями объемного звучания.

Воспроизведение звука

Современноые средства мультимедиа дают качество стереозвука, удовлетворяющее самым придирчивым требованиям HiFi (сокращенно это означает высокую верность воспроизведения). Современные платы синтеза звука способны синтезировать звучание одновременно 20 и более музыкальных инструментов, создавая при этом множество специальных звуковых эффектов - плавное изменение громкости каждого инструмента, вибрацию звуков, их модуляцию по частоте и т.д. Появилась возможность записи звуковых сигналов на магнитные носители ПК в виде файлов и их сложной математической обработки - например наложения сигналов, фильтрации шумов и т.д.

Сейчас HiFi-звучание неразрывно связано с лазерными аудиодисками (или компакт-дисками CD), использующими цифровые методы кодирования звуковых сигналов. Диск представляет из себя пластмассовый кружок, на поверхности которого имеются микроскопические углубления, созданные записывающим устройством (точнее говоря, технологическим процессом тиражирования дисков с некоторого оригинала). Они покрыты "толстым" слоем прозрачного лака, предохраняющим поверхность диска от повреждений. Рабочей является только одна поверхность, вторая используется для красочной маркировки.

Для проигрывания диска используется полупроводниковый лазерный диод с фокусирующей оптической системой. Область диска под лаком с микроуглублениями находится в фокусе, и отраженный от нее сигнал воспринимается фотодиодом, расположенным рядом с лазерным излучателем. Диск вращается с переменной скоростью, что дает постоянную линейную скорость считывания данных. Наружняя поверхность диска находится не в фокусе. Поэтому ее загрязнения и даже царапины практически не влияют на воспроизведение. Тем более что специальная электронная система коррекции ошибок устраняет их проникновение в данные. Тряска, вибрация и магнитные поля - бичь граммофонных проигрывателей и магнитофонов - на работу дисковых проигрывателей практически не влияют.

Сигнал фотодиода имеет форму импульсов. Для работы проигрывателя важно лишь наличие или отсутствие импульса - т.е. логический 0 или 1. Ну прямо как в компьютере, скажете вы и будете правы. Оптический диск как бы идеально подходит для создания ПЗУ (ROM) компьютера с огромной емкостью. Но история распорядилась по иному - такой диск был вначале задуман как средство цифровой записи звука для обычных целей HiFi- звуковоспроизведения. И лишь в начале 90-х годов он стал использоваться для записи компьютерных данных и программ в связи с практической реализацией идей мультимедиа.

В основе цифровой записи лежит представление мгновенного значения звукового сигнала его численным значением. Оно дискретное, т.е. выражается целым числом. Звуковой сигнал обычно имеет аналоговое (непрерывное) представление. И чтобы представить его в числовой форме, надо провести дискретизацию сигнала, представив его конечным числом уровней. Для HiFi-звуковоспроизведения в первом приближении хватает 65536 ступенек цифрового представления мгновенного значения цифрового сигнала. Это означает, что достаточно иметь 16 разрядов аналого-цифрового преобразования звукового сигнала. Первые платы звука ПК имели разрядность преобразования 8 и квантовали звуковой сигнал 128 ступеньками уровня. Это, конечно, было явно недостаточно для HiFi- звуковоспроизведения.

Итак, важный параметр звуковых плат мультимедиа (аудиоадаптеров) - разрядность их аналого-цифрового преобразователя (АЦП). Другой не менее важный параметр - частота квантования. Сколько дискретных значений сигнала надо получить за период сигнала? На этот вопрос можно ответить точно, если сигнал является периодическим - например всем знакомой синусоидой.

Чтобы можно было принципиально судить о величине (амплитуде) синусоидального сигнала, мы должны взять минимум две его выборки в моменты времени, соответствующие максимуму и минимуму синусоиды. По этим двум значениям с помощью фильтра можно восстановить синусоиду. Естественно, что синусоида с большим периодом представляется уже множеством выборок, что дает лучшее приближение. Восстановление аналогового представления сигнала по его цифровому выполняется с помощью цифро-аналоговых преобразователей (ЦАП) и фильтров, подавляющих шумы квантования, расположенные в области высоких частот.[2]

Манипуляторы

Простым, удобным и популярным средством для управления компьютером является мышь. Это устройство с проводом по внешнему виду и характеру перемещений действительно похоже на мелкое животное, в честь которого оно названо. Однако в отличие от вредного грызуна компьютерная мышь – весьма полезное устройство ввода информации в компьютер, позволяющее во многих случаях практически полностью заменить громоздкую клавиатуру. И это притом, что мышь имеет всего две-три клавиши, а используют из них обычно одну.

Виртуальная реальность

-                       Очки виртуальной реальности.

Самые ранние - это красно-синие очки. В игровой индустрии применяются они не часто, т.к. игру с самого начала надо делать под них. И, что отрадно, игра не требует мощных систем: отлично идёт на Р133&16 Мб RAM. Существуют и более сложные очки. Принцип их действия заключается в следующем. На экран выводится изображение для одного глаза в тот момент, когда очки затемняют другой. И, поочередно показывая для каждого глаза свое изображение, очки создают иллюзию трехмерности изображения на экране. Такой тип очков наиболее распространен и прилагается к некоторым видеокартам. 

Более современными являются EyeScream от Wicked3D и Сrystal Eyes от Stereographics. Первые более распространены, вторые более профессиональны. Ниже вы видите рисунки СrystalEyes (High- end) и СrystalEyes Wired (базовый уровень).

Есть множестьво других фирм по производству очков ВР, в этом реферате приведены лишь некоторые из них.

При использовании "метода затемнения одного глаза" нужно помнить, что для создания такого изображения необходима вдвое большая частота обновления экрана, т.к. система для каждого глаза обрабатывает отдельную камеру, и для каждого глаза выводится свое, невидимое для другого изображение. Так что, если частота регенерации изображения 80 Гц, то для каждого глаза в отдельности она будет лишь 40 Гц. Для наиболее комфортного использования таких очков надо вставлять частоту около 160-170 Гц.

-                       Виртуальные бинокли.

Эти приспособления уже не просто затемняют поочередно глаза, а сами выводят изображения для каждого глаза. Основа биноклей - активные LCD-матрицы с углом обзора 30-60 градусов. Появились они на рынке сравнительно недавно и не успели завоевать доверие у широких масс. Сегодня можно купить такие бинокли как V6 и V8 от Virtual Research Systems, Virtual Binoculars (VB) от n- Vision, а также и у нескольких других фирм. Как видно выглядят ВР-бинокли все на одно лицо (VB, V8).

Изображение в V8 обеспечивается 1.3" ЖК матрицами, разрешение ((640х3)х480), но частота регенерации изображения низкая - 60 Гц, т.е. по 30 на каждый глаз. К сожалению, техника еще не достигла нужного уровня для безопасной работы.

-                       VR-шлем (Head-Mounted-Display, HMD).

Этот тип устройств наиболее распространен и известен. Принцип действая такой же, как и у биноклей: фиксирование изображения для каждого глаза. Производство ВР шлемов началось давно, первыми моделями были Vfx1 и CyberFX. Первый, наиболее известный, обладает разрешением 789x230 (181,470) пикселей, отслеживанием поворотов головы на 45 градусов по вертикали и 360 по горизонтали. Cегодня он стоит $600 (с карточкой + $150), а СyberFX $100.

Естественно, они были несовершенны с точки зрения гигиены и качества. Позднее появился несколько улучшенный Vfx3D. Он снабжен 0.7" активно-матричными ЖК дисплеями, обеспечивающими частоту регенерации 75 Гц в разрешении 640х480, 70 Гц для разрешения 800х600 и 62.5 Гц при разрешении 1024х768. Система отслеживания положения головы (position tracker) имеет чувствительность 0.5° при допустимом 70-градусном отклонении вверх/вниз и 0.1-градусную чувствительность во всей горизонтальной плоскости (360°). Фокус расположен на расстоянии 3.35 метра, что препятствует быстрому утомлению глаз. Интерфейс шлема предусмотрен для платформ Silicon Graphics, Macintosh и PC (USB-порт).

Производством HMD занимаются многие зарубежные фирмы. n-Vision, сотрудничащая с SGI, предлагает шлема VR cо специфическим дизайном. Но, несмотря на это, они отличаются высокими технологическими характеристиками. Вот, например, Datdvisor 80-легкий VR-шлем из пластика, отличающийся 120-градусной свободой вертикального вращения.

-                       3D панели.

Эти устройства можно сравнить с VR-очками, но с тем отличием, что они одеваются на монитор. При использованием 3D панелей изображение на обычном мониторе обретает глубину, правда есть одно ограничение: диагональ дисплея должна быть 17 или 21 дюйм.

-                       3D звук.

Существует несколько технологий создания 3D-звука. У Creative это EAX, y Aureal - A3D, y Microsoft это DirectSound3D, реализованный в библиотеках DirectX. Все они позволяют воспроизводить настолько реалистичный звук, что его трудно отличить от настоящего. Поэтому для более глубокого погружения в виртуальные миры все HMD снабжены наушниками. Сейчас ими стали снабжать и некоторые стереоочки.

Трехмерный звук заставляет воспринимать игру по-другому. Ощущения становятся  настолько реалистичными... эти голоса и выстрелы в тоннелях и трубах меняются при выходе на открытые пространства, переливаются на ветру... в общем лучше один раз услышать, чем сто раз прочитать.

-                       Vr - перчатки.

Пока что перчатки для виртуальной реальности не заняли таких прочных позиций, как некоторые очки. Их технологии еще слишком дороги для развлечений, хотя и могут быт доступны в некоторых виртуальных залах от Electronic Visualization Lab. Хотя чаще всего они используются не для игр.

Отслеживать движения пальцев им помогает сложная система эластичных световодов и пара десятков датчиков. Как только палец начинает сгибаться, световод сужает просвет, а датчики улавливают падение интенсивности света на каком-либо участке. Адекватно этим изменениям ведет себя кисть в виртуальном пространстве. Естественно, эта технология разработана больше для научных исследований, нежели для игр. Посудите сами: зачем в 3DAction'e (тем более в RTS) отслеживать движения пальцев?

Есть и технология с механическими датчиками, но она тяжела и несовершенна.

-                       Датчики кисти.

Помимо перчаток существуют и другие устройства слежения за перемещениями кисти. В самые простые встроен только position tracker, отслеживающий перемещения небольшого кубика, который нужно держать в одной из рук. По сравнению с остальной продукцией это устройство стоит дешево-от 20 до 40 долларов.

Производством таких датчиков занимается фирма Ascension Technology Corporation.

-                       VR-костюм.

Самым полным набором оборудования для виртуальной реальности является виртуальный костюм. Он состоит из обтягивающего комбинезона со множеством магнитных сенсоров, которые отслеживают движения всех частей тела. К нему добавляется HMD, датчик(и) кисти (реже перчатка) и провода для присоединения всего этого к компьютеру. Тогда уж точно будет полный комплект ощущений. Единственное, чего не хватает, так это ForceFeedback VR-костюмов. Хотя кто знает, может, работы по созданию таких устройств уже ведутся?

-                       Перспективные устройства.

В лекции  не рассмотрены устройства имитации обоняния и вкуса. Насчет последнего не знаю, а вот примитивное устройство имитации обоняния уже известно. Оно состоит из системы химических аэрозолей, смешивающихся при необходимости. У подопытных сперва было ощущение восторга, а потом совсем не было ощущений. Дело в том, что химический состав баллончиков не безвреден - он притупляет чувствительность нашего носа. Поэтому первое время люди, испытавшие на себе это чудо техники, совсем не различали запахи. А создатели даже и предположить не могли о таком побочном эффекте. Мне кажется эти устройства уже лишние: кому интересно испытать полноту ощущений в канализации или на свалке?

Технологии виртуальной реальности сегодня очень быстро развиваются. Сама ВР применяется во многих сферах жизни. Роботы, которыми управляет человек из виртуальной реальности, выполняют опасную или тонкую работу. Для создания игр широко применяется технология Motion Capture, позволяющая "снять" движения с человека и присвоить их трехмерной модели. К примеру, этот метод применялся в некоторых играх благодаря чему мы можем видеть и крадущегося вора, и танцующих скелетов. Та же технология используется и при оживлении рисованных персонажей в голливудских фильмах. Ну и наконец виртуальная реальность может использоваться для развлечений, ведь она помогает представить себя в другой роли и в другом обличии. Кто бы отказался поплавать рыбкой в коралловых рифах? Или воспарить птицей над небесами?

Все это заставляет стремительно развиваться VR-технологии. Многие из них стоят больших денег, но кто знает, может быть, описанные в статье устройства завтра станут обыденностью, а затем и вовсе вытесняются новыми.[3]

Лазерные диски, CD-ROM

В связи с ростом объемов и сложности программного обеспечения, широким внедрением мультимедиа приложений, сочетающих движущиеся изображения, текст и звук, огромную популярность в последнее время приобрели устройства для чтения компакт- дисков CD-ROM. Эти устройства и сами диски, относительно недорогие, очень надежны и могут хранить весьма большие объемы информации (до 650 Мбайт), поэтому они очень удобны для поставки программ и данных большего объема, например каталогов, энциклопедий, а также обучающихся, демонстрационных и игровых программ. И многие программы полностью или частично поставляются на CD-ROM.

Видеокарты

При смешении сигналов основные проблемы возникают с видео–изоб­ражением. Различные ТВ–стандарты, существующие в мире (NTSC, PAL, SE­CAM), применение разных мониторов и видеоконтроллеров диктует разнообразие подходов в разрешении возникающих проблем. Однако в лю­бом случае требуется синхронизация двух изображений, для чего служит устройство генлок (genlock). С его помощью на экране монитора могут быть совмещены изображение, сгенерированное компьютером (анимированная или неподвижная графика, текст, титры), и “живое” видео. Если добавить еще одно устройство — кодер (encoder), компьютерное изо­бражение может быть преобразовано в форму ТВ–сигнала и записано на ви­деопленку. "Настольные видео–студии”, являющиеся одним из примеров применения систем мультимедиа, позволяют готовить совмещенные видео–компьютерные клипы, титры для видеофильмов, помогают при монтаже кинофильмов.

TVтюнеры

Эти устройства выполняются обычно в виде карт или бокса (небольшой коробочки). Они преобразуют аналоговый видеосигнал, поступающий по сети кабельного телевидения или от антенны, от видеомагнитофона или камкодера (camcorder). TV-тюнеры могут входить в состав других устройств, таких как MPEG-плейеры или фреймграбберы.

Некоторые из них имеют встроенные микросхемы для преобразования звука. Ряд тюнеров имеют возможность для вывода телетекста.

Фрейм грабберы

Появились примерно 8 лет назад . Как правило они объединяют графические, аналогово-цифровые и микросхемы для обработки видеосигналов, которые позволяют дискретизировать видеосигнал, сохранять отдельные кадры изображения в буфере с последующей записью на диск либо выводить их непосредственно в окно на мониторе компьютера. Содержимое буфера обновляется каждые 40 мс. то есть с частотой смены кадров. Вывод видеосигналов происходит в режиме наложения (overby). Для реализации окна на экране монитора с "живым" видео карта фреймграббера соединена с графическим адаптером через 26 контактный Feature коннектор. С ним обычно поставляется пакет Video for Windows вывод картинки размером 240*160 пикселов при воспроизведении 256 цветов и больше. Первые устройства Video Blaster, Video Spigot.

Преобразователи VGA-TV

1.                     Данные устройства транслируют сигнал в цифровом образе VGA изображения в аналоговый сигнал пригодный для ввода на телевизионный приемник. Производители обычно предлагают подобные устройства выполненные либо как внутренние ISA карта либо как внешний блок. Ряд преобразователей позволяют накладывать видеосигнал например для создания титров. При этом осуществляется полная синхронизация преобразованного компьютерного сигнала по внешнему(gtnlok).