<< Пред.           стр. 9 (из 12)           След. >>

Список литературы по разделу

  Основной интерфейс может быть также основан на каналах типа Н. При этом общая пропускная способность интерфейса все равно не должна превышать 2,048 или 1,544 Мбит/с.
  Несмотря на значительные отличия от аналоговых телефонных сетей, сети ISDN сегодня используются в основном так же, как аналоговые телефонные сети, то есть как сети с коммутацией каналов, но только более скоростные. Интерфейс BRI дает возможность установить дуплексный режим обмена со скоростью 128 кбит/с (логическое объединение двух каналов типа В), а интерфейс PRI – 2,048 Мбит/с. Кроме того, качество цифровых каналов гораздо выше, чем аналоговых. Это значит, что процент искаженных кадров будет гораздо ниже, а полезная скорость обмена данными существенно выше.
  Обычно интерфейс BRI используется в коммуникационном оборудовании для подключения отдельных компьютеров или небольших локальных сетей, а интерфейс PRI – в маршрутизаторах, рассчитанных на сети средних размеров.
  В настоящее время сети ISDN не рассматриваются разработчиками сетей передачи данных как эффективное средство для создания магистрали. Основная причина – отсутствие скоростной службы коммутации пакетов и невысокие скорости каналов, предоставляемых конечным пользователям. Для целей же подключения мобильных и домашних пользователей, а также небольших офисов сети ISDN используются относительно часто. Производители коммуникационного оборудования выпускают широкий спектр продуктов для подключения локальных сетей к ISDN – терминальных адаптеров, удаленных мостов и офисных маршрутизаторов невысокой стоимости.
  Потребность в технологиях, которые бы обеспечивали достаточную пропускную способность при работе по существующим коммутируемым телефонным линиям общего пользования, привела к разработке нового поколения так называемой каналообразующей аппаратуры – DSL (Digital Subscriber Line – цифровая абонентская линия). Технология DSL объединяет несколько своих подвидов, которые принято относить к семейству xDSL. На сегодняшний день наиболее популярна разновидность технологии DSL под названием ADSL (Asymmetric Digital Subscriber Line – асимметричная цифровая абонентская линия. Особенность технологии ADSL – асимметричность: полоса для передачи данных к пользователю шире, чем частотная полоса, предназначенная для передачи потока данных от пользователя, и соответственно скорость передачи данных от сети к пользователю значительно выше, чем скорость передачи данных от пользователя в сеть. Использование данного принципа в сочетании с режимом постоянного соединения, исключающего необходимость повторного подключения при каждом сеансе, делает эту технологию идеальной для организации межсетевого доступа и доступа в сеть Интернет. Асимметричность соединения оправданна потому, что основной объем трафика формируется входящим потоком, и меньшая пропускная способность исходящего потока не сказывается на эффективности работы сети. ADSL позволяет использовать обычную телефонную пару проводов в качестве скоростного канала передачи данных. Линия ADSL соединяет два ADSL-модема (или ADSL-модем пользователя и ADSL-концентратор провайдера), которые подключены к каждому концу пары проводов телефонного кабеля. Технология ADSL использует метод разделения полосы пропускания медной телефонной линии на несколько частотных полос (так называемых «несущих»). Такое разделение позволяет одновременно передавать несколько сигналов по одной линии. При частотном уплотнении в канале выделяется несколько частотных диапазонов (в простейшем случае три) для входящего и исходящего потоков данных и для обычной телефонной линии. Для обычной телефонной связи выделяется нижняя часть диапазона до 4 кГц, и если модем занят передачей данных – это никак не сказывается на возможности совершать и принимать телефонные вызовы. При этом выход из строя модема или его отключение не оказывают влияния на телефонную связь.
  Технология ADSL обеспечивает скорость входящего потока в пределах от 1,5 Мбит/с до 8 Мбит/с и скорость исходящего – от 640 Кбит/с до 1,5 Мбит/с. Максимальное расстояние для передачи потока со скоростью 1,5 Мбит/с по одной витой паре проводов составляет 5,5 км. На расстоянии до 3,5 км с использованием медного провода диаметром не менее 0,5 мм возможна скорость передачи до 8 Мбит/с.
  Среди других разновидностей технологий, входящих в семейство xDSL, отметим технологию HDSL (High Bit-Rate Digital Subscriber Line – высокоскоростная цифровая абонентская линия) предусматривает организацию симметричной линии передачи данных, то есть скорости передачи данных от пользователя в сеть и из сети к пользователю равны. Вследствие высокой скорости передачи (1,544 Мбит/с по двум парам проводов и 2,048 Мбит/с по трем парам проводов) телекоммуникационные компании используют технологию HDSL в качестве альтернативы магистральным линиям T1 (1,544 Мбит/с) и Е1 (2,048 Мбит/с). Максимальная дальность передачи информации ограничена 3,5–4,5 км, но она может быть увеличена за счет повторителей сигнала. Недостатком технологии следует считать высокую по сравнению с другими разновидностями xDSL стоимость оборудования и более строгие требования к качеству линий. Тем не менее, технология HDSL с успехом применяется для объединения локальных сетей и соединения цифровых офисных АТС.
  Наиболее скоростной в семействе xDSL является асимметричная технология VDSL (Very High Bit-Rate Digital Subscriber Line – высокоскоростная цифровая абонентская линия). Скорость входящего потока – от 13 до 50 Мбит/с, исходящего – от 1,5 до 2,3 Мбит/с по одной витой паре. «Цена» столь высоких скоростей – малое расстояние передачи: в зависимости от качества линии оно составляет от 300 до 1300 метров. В связи с тем, что VDSL использует только одну телефонную пару, эта технология может стать альтернативой прокладки «последней мили» волоконно-оптическим кабелем в случае, если узел доступа DSL расположен вблизи от потребителя.
 
 12.2. Технологии глобальных сетевых связей
 
  Современные технологии глобальных вычислительных сетей по сути являются технологиями соединений (связей) удаленных локальных и (или) региональных сетей между собой. Глобальные сетевые связи в большинстве случаев относятся к соединениям типа «точка–точка». Для глобальных сетевых связей достаточно часто используются рассмотренные в предыдущем разделе аналоговые телефонные линии связи, технологии ISDN и DSL. Однако для соединения удаленных сетей предложены и применяются на практике более высокоскоростные и эффективные технологии глобальных сетевых связей, которые рассматриваются далее.
  Технология выделенных линий использует для удаленных сетевых связей каналы передачи данных, постоянно соединяющие двух абонентов с фиксированной полосой пропускания или фиксированной пропускной способностью. Абонентами могут быть как отдельные компьютеры, так и сети. Выделенные линии либо арендуются у компаний – операторов территориальных сетей, и тогда они называются «арендуемыми», либо специально прокладываются крупными корпорациями для своих информационных целей, и тогда они обычно называются «частными» выделенными линиями (или каналами).
  Выделенные линии связи подразделяются на аналоговые и цифровые. К настоящему времени чаще всего применяются цифровые линии связи. В США наиболее популярны выделенные линии типа T1 со скоростью передачи 1,54 Мбит/с. Европейский эквивалент линий T1 называется E1 и работает на скорости 2,048 Мбит/с. Для приложений, требующих большей полосы пропускания, используются линии T3 со скоростью 44,736 Мбит/с и E3 со скоростью 34,368 Мбит/с. Линия T1 состоит из 24 каналов со скоростью 64 Кбит/с, которые могут использоваться как вместе, так и раздельно. Соединение T3 состоит из 672 таких каналов.
  В недалеком прошлом широкое распространение имела технология Х.25. Одной из главнейших особенностей сетей Х.25 является использование для организации вызова и непосредственной передачи данных между абонентами сети виртуальных каналов. Информационный обмен в сети Х.25 во многом похож на аналогичный процесс в сетях ISDN и состоит из трех обязательных фаз: установление вызова (виртуального канала), информационный обмен по виртуальному каналу, разрыв вызова (виртуального канала).
 Базовая технология Х.25 не имеет развитых протоколов прикладного уровня и предоставляет пользователям в основном транспортные услуги передачи данных. На канальном уровне используется протокол LAP-B, осуществляющий передачу данных в виде кадров переменной длины. LAP-B описывает взаимодействие соседних узлов как процедуру с установлением соединения и подтверждением. При этом решаются задачи обеспечение передачи сообщений, содержащих любое количество битов и любые возможные комбинации битов (требование кодовой прозрачности); выполнения при передаче данных процедур, обнаруживающих ошибки на приемной стороне; защиты от потерь или искажения компонентов сообщения при возникновении ошибки в передаваемой информации; поддержки работы как двухточечных, так и многоточечных физических цепей; поддержки работы дуплексных и полудуплексных линий связи; обеспечения информационного обмена при значительных вариациях времени распространения сигнала.
  Сеть Х.25 использует коммутацию пакетов и хорошо работает на ненадежных линиях связи благодаря использованию протоколов подтверждения установления соединений и коррекции ошибок на канальном и сетевом уровнях.
  Достоинствами сети Х.25 являются гарантированная доставка пакетов, высокая надежность сети ввиду постоянного эффективного контроля за появлением ошибок и наличия механизма альтернативной маршрутизации, возможность работы как по аналоговым, так и по цифровым выде­ленным или коммутируемым каналам, возможность разделения в режиме реального времени одного физического канала доступа между несколькими абонентами.
  К недостаткам сети Х.25 следует отнести невысокую скорость передачи данных (которая обычно лежит в пределах от 56 до 64 Кбит/с и обусловлена развитыми механизмами контроля достоверности информации), а также невозможность передачи чувствительного к временным задержкам трафика (оцифрованного голоса, видеоинформации), что обусловлено необходимостью частой повторной передачи искаженных кадров в каналах связи плохого качества (вследствие чего в сети возникают непредвиденные задержки передачи).
  Технология FR (Frame Relay – ретрансляция кадров) ориентирована на использование в сетях с коммутацией пакетов. Сама технология охватывает только физический и канальный уровни. Сетью Frame Relay принято считать любую сеть, использующую на нижних двух уровнях управления одноименную технологию. Основное отличие Frame Relay от Х.25 заключается в механизме обеспечения достоверности информации. Сеть Х.25 разрабатывалась с учетом плохих аналоговых каналов связи, имевшихся в то время, и поэтому в ней приняты весьма трудоемкие меры по обеспечению достоверности, требующие для своей реализации больших временных затрат. Именно поэтому сеть Х.25 является сетью с гарантированной доставкой информации. Технология FR разрабатывалась с учетом уже достигнутых в телекоммуникациях высоких скоростей передачи данных и низкого уровня ошибок в современных сетях. Таким образом, сеть Frame Relay ориентирована на хорошие цифровые каналы передачи информации и в ней отсутствуют проверка выполнения соединения между узлами и контроль достоверности информации (контроль за появлением ошибок) на канальном уровне, а именно на этом уровне в FR выполняется мультиплексирование потока данных в кадры. При обнаружении ошибки повторная передача кадра не производится, а искаженный кадр просто выбрасывается. Таким образом, в сети Frame Relay обеспечивается гарантированная согласованная скорость передачи информации. Скорость передачи может быть весьма большой: в диапазоне от 56 Кбит/с до 44 Мбит/с, но без гарантии достоверности доставки.
 Так же как и в сети Х.25, основу Frame Relay составляют виртуальные каналы, представляющие собой логическое соединение. В технологии Frame Relay используются протоколы только на физическом и ка­нальном уровнях. Протокол канального уровня в Frame Relay описывает взаимодействие соседних узлов либо как процедуру без установления соединения, либо как процедуру с установлением соединения без подтверждения. На остальных уровнях могут использоваться протоколы любых сетей с коммута­цией пакетов. В частности, с технологией Frame Relay хорошо согласуются интер­нетовские протоколы TCP/IP.
  Технология Frame Relay имеет в корпоративных и региональных сетях весьма широкое применение, примерно такое же, какое в локальных сетях имеет техно­логия Ethernet. У них много общего: та и другая технология предоставляет для сетей только быстрые базовые транспортные услуги доставки дейтаграмм (кадров, пакетов) без гарантии достоверности доставки; отбрасывает дейтаграммы, содержащие ошибки (без попыток их восстановления). Надежность работы всех компонентов сети очень высока: имеются средства внутренней эффективной диагностики состояния компонентов (неработоспособные компоненты сразу блокируются, и поток кадров идет в обход их). На магистральных каналах сети обычно используются волоконно-оптические кабели, а на каналах удаленного доступа (на «последней миле») может использоваться витая пара. По сетям Frame Relay возможна передача видео- и голосовой информации, так как при использовании хороших каналов связи задержки передачи возникают крайне редко (и они минимальны).
  Достоинствами технологии Frame Relay являются гарантированное качество обслуживания (гарантированная согласованная скорость передачи данных), высокая надежность функционирования сети, возможность передавать чувствительный к временным задержкам трафик (оцифрованный голос, видеоинформацию), простые и достаточно дешевые средства управления.
  К недостаткам технологии Frame Relay следует отнести необходимость использования качественных дорогостоящих каналов связи, относительно высокую вероятность потери кадров в процессе передачи, возможную перегрузка отдельных узлов сети ввиду отсутствия эффективного повсеместного контроля за трафиком.
  Технология синхронной цифровой иерархии SDH (Synchronous Digital Hierarchy) разработана для создания надежных транспортных сетей, позволяющих гибко формировать цифровые каналы широкого диапазона скоростей – от единиц мегабит до десятков гигабит в секунду. Основная область применения технологии SDH – первичные сети операторов связи, но иногда такие сети строят и крупные предприятия и организации, имеющие разветвленную структуру подразделений и филиалов, покрывающих большую территорию.
 Каналы SDH относятся к классу полупостоянных – формирование канала происходит по инициативе оператора сети SDH, пользователи же лишены такой возможности, поэтому каналы SDH обычно применяются для передачи достаточно устойчивых во времени потоков. Сети SDH относятся к классу сетей с коммутацией каналов, использующих синхронное мультиплексирование с разделением времени TDM, при котором информация от отдельных абонентов адресуется относительным временным положением внутри составного кадра, а не явным адресом, как это происходит в сетях с коммутацией пакетов. Достоинством сети SDH является обеспечение гибкой схемы мультиплексирования потоков данных разных скоростей, позволяющих вставлять и извлекать пользовательскую информацию любого уровня скорости, не демультиплексируя весь поток. К достоинствам сети SDH также относятся обеспечение высокой отказоустойчивости сети, поддержка операций контроля и управления на уровне протокола сети, синхронизация кадров в случае небольшого отклонения частот двух сопрягаемых сетей.
  Стандарт физического уровня SONET (Synchronous Optical Network – cинхронные оптические сети) позволяет создавать синхронные телекоммуникационные сети на основе волоконно-оптических кабелей. Этот стандарт был принят Международным телекоммуникационным союзом под именем выше рассмотренной технологии SDH. Таким образом аппаратура и сети SDH и SONET являются совместимыми. SDH/SONET позиционируются в качестве эффективной замены линий связи типов T и E. Технологии SDH/SONET поддерживают определенную иерархию скоростей передачи данных, то есть обеспечивают передачу данных на нескольких скоростных уровнях (от 51,8 Мбит/с до 39,8 Гбит/с).
 Сети на основе SDH/SONET добились прочного положения в телекоммуникационном мире. На сегодняшний день они составляют фундамент практически всех крупных сетей – региональных, национальных и международных. Укрепляет это положение и то, что технология SDH может легко интегрироваться с технологией DWDM, обеспечивающей передачу информации по оптическим магистралям с ещё более высокими скоростями – сотни гигабит в секунду и выше – за счет мультиплексирования с разделением по длине волны. В магистральных сетях с ядром DWDM сети на основе SDH/SONET играют роль сетей доступа.
 Недостатком технологии SDH является ее неспособность динамически перераспределять пропускную способность между абонентами сети (это свойство обеспечивается пакетными сетями). Значимость этого недостатка возрастает по мере увеличения доли и ценности компьютерного трафика по сравнению с голосовым трафиком.
 Технология ATM (Asynchronous Transfer Mode – режим асинхронной передачи) – это одна из самых перспективных технологий построения высокоскоростных сетей любого класса – от локальных до глобальных. Термин «асинхронный» в названии технологии указывает на ее отличие от синхронных технологий с фиксированным распределением пропускной способности канала между информационными потоками (например, ISDN).
  В основе транспортного механизма ATM лежит технология широкополосной ISDN (Broadband ISDN – B-ISDN), призванная обеспечить возможность создания единой универсальной высокоскоростной сети взамен множества сложных неоднородных существующих сетей. Технология ATM используется в сетях любого класса для передачи любых видов трафика: как низко- и среднескоростного (факсы, почта, данные), так и высокоскоростного в реальном масштабе времени (голос, видео).
  Основными компонентами сети ATM являются ATM-коммутаторы, представляющие собой быстродействующие специализи­рованные устройства. Передача информации в сетях ATM происходит после предварительного установления соединений, выполняемого коммутаторами. Коммутаторы создают широкополосный физический канал, в котором динамически можно формировать более узкополосные виртуальные каналы (подканалы). По каналу передаются не кадры или пакеты, а ячейки (cells). Ячейки представляют собой очень короткие последовательности байтов – размер ячейки составляет 53 байт, включая заголовок из 5 байт. Размер ячейки выбран в результате компромисса между требованиями, предъявляемыми компьютерными сетями – больший размер ячейки, и требованиями голосового трафика – меньший размер ячейки. Время заполнения квантами голосового сигнала ячейки длиной 48 байт составляет примерно 6 мс, что является пределом временной задержки, заметно не искажающей голосовой трафик.
  Для передачи данных в сети ATM организуется виртуальное соединение. Виртуальное соединение определяется уникальным сочетанием идентификатора виртуального пути и идентификатора виртуального канала. Виртуальный канал представляет собой фрагмент логического соединения, по которому производится передача данных одного пользовательского процесса. Виртуальный путь представляет собой группу виртуальных каналов, которые в пределах данного интерфейса имеют одинаковое направление передачи данных. Коммутатор ATM состоит из коммутатора виртуальных путей и коммутатора виртуальных каналов.
  Рассмотренная особенность организации ATM обеспечивает дополнительное увеличение скорости обработки ячеек. ATM-коммутатор анализирует значения, которые имеют идентификаторы виртуального пути и виртуального канала у ячеек, поступающих на его входной порт, и направляет эти ячейки на один из выходных портов. Для определения номера выходного порта коммутатор использует динамически создаваемую таблицу коммутации. ATM-коммутаторы аппаратно реализуют функцию коммутации ячеек ATM между несколькими своими портами.
 Технология ATM совмещает в себе подходы двух технологий – коммутации пакетов и коммутации каналов. От первых заимствована передача адресуемых пакетов, от вторых – минимизация задержек в сети ввиду малых размеров пакетов (ячеек).
 В технологиях синхронной передачи, предшествовавших ISDN, было невозможно перераспределять пропускную способность канала между подканалами – в период простоя подканала общий канал все равно вынужден был передавать нулевые байты, так как синхронная система не позволяла нарушать последовательности передаваемых данных. В случае передачи пакетов с индивидуальными адресами, как это принято в компьютерных сетях, последовательность передачи пакетов не важна. На этом принципе и была построена система асинхронной передачи по ATM-технологии. В ней можно по подканалам передавать ячейки в любой последовательности, а поскольку размер ячеек очень мал, достигается гибкость перераспределения нагрузки между подканалами и значительно увеличивается пропускная способность системы. Ячейки собираются у получателя и объединяются в сообщение – так же, как это делается в компьютерных сетях. Скорость передачи увеличивается и из-за того, что в процессе передачи ячеек их маршрутизация не производится (так как высокоскоростные коммутаторы ATM предварительно выполняют формирование канала).
 Скорость передачи данных по каналам ATM лежит в пределах от 155 до 2200 Мбит/с. При скорости 155 Мбит/с время передачи ячейки длиной 53 байт составляет менее 3 мкс.
 ATM-технология рассчитана на работу с трафиками разного типа. Тип трафика характеризуется наличием или отсутствием пульсаций во времени, требованием синхронизации данных между передающей и принимающей сторонами, типом передающего протокола (с установлением или без установления предварительного соединения).
 
 Резюме
 
  Удаленный доступ к сети, включающий различные типы и варианты подсоединения одиночных компьютеров или малых локальных сетей к территориально отдаленным крупным сетям или высокопроизводительным серверам, характеризуется несимметричностью взаимодействия.
  Наиболее простым и пока самым распространенным способом удаленного доступа является использование для этого существующей инфраструктуры аналоговых телефонных сетей, работающих на основе техники коммутации каналов. Для передачи данных по аналоговым телефонным каналам используются модулирующие-демодулирующие устройства – модемы.
  Повысить качество передачи данных по каналам телефонных сетей до уровня, пригодного для высокоскоростной передачи данных, позволяет переход от аналоговых телефонных сетей к цифровым, в которых на всех участках сети данные передаются в дискретной форме. Наиболее развитыми сетями такого типа являются так называемые сети с интегральными услугами ISDN. Основным достоинством сетей ISDN является то, что они позволяют объединить в единое целое различные виды связи. В сетях ISDN реализуются скорости передачи данных от 64 Кбит/с до 155 Мбит/с.
  Новая каналообразующая технология DSL обеспечивает относительно высокие скорости передачи данных при работе по существующим коммутируемым телефонным линиям общего пользования. Популярной разновидностью этой технологии в настоящее время является асимметричная технология ADSL, которая обеспечивает скорость входящего потока от 1,5 Мбит/с до 8 Мбит/с и скорость исходящего потока – от 640 Кбит/с до 1,5 Мбит/с. Технология HDSL предусматривает организацию симметричной линии передачи данных. Наиболее скоростной является асимметричная технология VDSL, обеспечивающая скорость входящего потока – от 13 до 50 Мбит/с, исходящего – от 1,5 до 2,3 Мбит/с.
  Современные технологии глобальных вычислительных сетей по сути являются технологиями соединений (связей) удаленных локальных и (или) региональных сетей между собой. Глобальные сетевые связи в большинстве случаев относятся к соединениям типа «точка–точка».
  Достоинствами технологии глобальных сетевых связей Х.25 являются гарантированная доставка пакетов, высокая надежность сети ввиду постоянного эффективного контроля за появлением ошибок и наличия механизма альтернативной маршрутизации, возможность работы как по аналоговым, так и по цифровым выде­ленным или коммутируемым каналам, возможность разделения в режиме реального времени одного физического канала доступа между несколькими абонентами. Недостатки Х.25 – относительно невысокие скорости передачи данных, невозможность передачи чувствительного к временным задержкам трафика.
  Технология Frame Relay работает в сетях с качественными цифровыми каналами передачи информации и использует технику коммутации пакетов. В этой технологии отсутствуют проверка выполнения соединения между узлами и контроль достоверности информации на канальном уровне. Достоинствами технологии Frame Relay являются гарантированная согласованная скорость передачи данных, высокая надежность функционирования сети, возможность передавать чувствительный к временным задержкам трафик.
  Технология синхронной цифровой иерархии SDH разработана для создания надежных транспортных сетей, позволяющих гибко формировать цифровые каналы широкого диапазона скоростей – от единиц мегабит до десятков гигабит в секунду. Стандарт физического уровня SONET позволяет создавать синхронные телекоммуникационные сети на основе волоконно-оптических кабелей.
  Технология ATM является одной из самых перспективных технологий построения высокоскоростных сетей любого класса – от локальных до глобальных. Технология ATM совмещает в себе подходы двух технологий – коммутации пакетов и коммутации каналов. От первых заимствована передача адресуемых пакетов, от вторых – минимизация задержек в сети ввиду малых размеров передаваемых пакетов (ячеек).
 
 Контрольные вопросы и задания
 
 Опишите особенности способа удаленного доступа на основе использования инфраструктуры аналоговых телефонных сетей.
 Какие функции выполняют модемы при передаче данных по аналоговым телефонным сетям?
 В чем заключаются основные недостатки организации удаленного доступа по обычным телефонным сетям?
 Охарактеризуйте цифровые сети, функционирующие на основе технологии ISDN.
 Представьте базовые типы внутрисетевых цифровых канал, используемых при реализации технологии ISDN.
 Какие цели преследует разработка технологии DSL?
 Дайте описание основных подвидов семейства технологий DSL.
 Какими параметрами передачи данных характеризуется наиболее популярная технология ADSL?
 Дайте описание сетей X.25, их основных компонентов и особенностей информационного обмена в этих сетях.
 Перечислите достоинства и недостатки технологии X.25.
 Опишите особенности реализации и практического применения технологии Frame Relay.
 Охарактеризуйте современную степень распространения технологии Frame Relay, ее достоинства и недостатки.
 Дайте описание технологии синхронной цифровой иерархии SDH.
 Представьте характерные черты технологии ATM и основные компоненты сети на ее базе.
 Какие функции выполняют коммутаторы ATM?
 Что представляют собой так называемые «ячейки» в технологии ATM?
 Каковы скорости передачи данных по каналам ATM?
 
 
 
 
 
 
 
 
 
 
 
 13. Организация и характеристики многопроцессорных вычислительных комплексов
 
 13.1. Классификация и архитектура многопроцессорных вычислительных комплексов
 
  Как было отмечено в разделе 1, к многопроцессорным вычислительным комплексам (МВК) будем относить многопроцессорные вычислительные машины (МВМ), часто именуемые «мультипроцессорами», и многомашинные вычислительные системы (ММВС) сосредоточенного типа, а также гибридные схемы МВМ и ММВС.
  МВМ с общей памятью, разделяемой всеми процессорами (относительно независимыми друг от друга), строятся по двум основным архитектурным схемам, реализующим соответствующий характер доступа процессоров к общей памяти. Первая из рассматриваемых архитектур МВМ носит название SMP-архитектуры (Symmetric MultiProcessing – симметричная мультипроцессорная). Такие МВМ также относят к классу UMA-мультипроцессоров (Uniform Memory Access – однородный доступ к памяти). Существенным является то, что в UMA-мультипроцессорах каждое слово может быть считано из памяти теоретически с одинаковой скоростью. Вторую из рассматриваемых архитектур МВМ называют ASMP-архитектурой (ASymmetric MultiProcessing – асимметричная мультипроцессорная), но чаще для обозначения таких МВМ применяется термин NUMA-мультипроцессоры (NonUniform Memory Access – неоднородный доступ к памяти).
  В основе простейшего схемного решения SMP-архитектуры лежит идея общей шины (рис. 13.1). В такой схеме несколько центральных процессоров (ЦП) и общая память (которая может быть представлена как совокупность нескольких модулей памяти – МП) одновременно используют одну и ту же шину для общения друг с другом. Когда какому-либо процессору необходимо прочитать слово в памяти, он сначала проверяет, свободна ли шина. Если шина свободна, процессор выставляет на нее адрес нужного ему слова, подает управляющие сигналы и ожидает, пока память не выставит нужное слово на шину. Если шина занята, то процессор просто ждет ее освобождения. При небольшом числе процессоров (например, двух или трех) состязание за шину управляемо. При количестве процессоров, исчисляемом несколькими десятками, шина будет перегружена и для каждого отдельного процессора почти все время занята. Именно пропускная способность шины является главной проблемой такой схемы.
 
 
 
 
 
 Рис. 13.1. Структурная схема многопроцессорной вычислительной
 машины с SMP-архитектурой на базе общей шины
 
  Другое более эффективное схемное решение SMP-архитектуры заключается в использовании так называемых перекрестно-координатных коммутаторов (или коммутаторов типа crossbar – «перекрестные полосы») для соединения процессоров и модулей памяти (рис. 13.2). Перекрестно-координатный коммутатор может быть замкнут или разомкнут в зависимости от того, какой из ЦП должен быть соединен с тем или другим МП. Схема с перекрестно-координатными коммутаторами представляет собой неблокирующую сеть, то есть ни один из ЦП не получает отказа в соединении по причине занятости какого-либо коммутатора (при условии, что сам требующийся МП свободен). Основным недостатком такой схемы является то, что число коммутаторов растет пропорционально квадрату числа ЦП, и при значительном числе ЦП схемное решение становится технически трудно реализуемым.
  Эффективное схемное решение UMA-мультипроцессоров при большом числе ЦП реализуется на базе так называемых многоступенчатых коммутаторных сетей. В простейшей из таких сетей – баньян-сети (от названия индийского дерева «баньян») – используются так называемые «баньяновые» коммутаторы с двумя входами и двумя выходами (рис. 13.3.). Сообщения, поступающие по любой из входных линий, могут переключаться на любую выходную линию. Таким образом, любой из ЦП получает доступ к любому из требуемых МП.
 
 
 
 Рис.13.2. Структурная схема многопроцессорной вычислительной машины с SMP-архитектурой на базе координатных переключателей (коммутаторов): – разомкнутые переключатели ( )
  – замкнутые переключатели ( )
 
 
 
 Рис.13.3. Структурная схема многопроцессорной вычислительной
 машины с SMP-архитектурой на базе коммутируемой сети
 
 В NUMA-мультипроцессорах каждый из ЦП имеет «свою», непосредственно связанную с ним память (локальную память), обращения к которой происходят наиболее часто и с самой высокой скоростью обмена информацией. Кроме того, каждый из ЦП имеет доступ и к любой локальной памяти других процессоров, однако к этим модулям памяти у данного ЦП нет непосредственной связи, а доступ осуществляется через соответствующий процессор (см. рис. 13.4). Поэтому скорость обмена информацией с удаленной («чужой») локальной памятью у каждого из ЦП гораздо ниже, чем со «своей» (этим и объясняется наименовании таких МВМ как мультипроцессоров с неоднородным доступом к памяти). В дополнение к локальным модулям памяти в NUMA-мультипроцессорах может иметься и общая память, к которой все ЦП имеют равноправный однородный доступ.
 
 
 
 Рис.13.4. Структурная схема многопроцессорной вычислительной
 машины с неоднородным доступом к памяти и шинной архитектурой
 ЛП – локальная память, ОП – общая память
 
  Для разгрузки шинного интерфейса и возможности вследствие этого существенного увеличения числа ЦП применяются комбинированные схемы NUMA-мультипроцессоров с иерархическим расположением шин. Например, в представленной на рис. 13.5 двухуровневой схеме, NUMA-мультипроцессор состоит из нескольких МВМ, имеющих SMP-архитектуру, локальные шины которых связаны общей шиной. Возможны более сложные схемные комбинации построения NUMA-мультипроцессоров с разными вариантами SMP-архитектур и с большим числом уровней шин.
  В NUMA-мультипроцессорах также находят применение схемы с непосредственной связью процессоров (при небольшом их числе) и схемы с кольцевой последовательной связью процессоров (рис. 13.6, 13.7).
 
 
 
 
 Рис.13.5. Структурная схема многопроцессорной вычислительной
 машины с неоднородным доступом к памяти и двумя уровнями шин
 
 
 
 Рис. 13.6. Структурная схема многопроцессорной вычислительной машиныс неоднородным доступом к памяти и непосредственной
  связью процессоров
 
  Многомашинные вычислительные системы сосредоточенного типа (см. подраздел 1.2) относят к классу MPP-архитектуры (Massive Parallel Processing – «массово-параллельные системы» или «массивно-параллельные системы»). Переход от архитектуры SMP к MPP позволил практически бесконечно масштабировать систему машин. Такой путь оказался технически и экономически более эффективным, чем увеличение числа процессоров в архитектурах SMP и ASMP. Изначально ММВС с MPP-архитектурой строились как уникальные узко специализированные системы, в которых независимые специализированные вычислительные модули объединялись специализированными каналами связи, причем те и другие создавались под конкретную реализацию системы и ни в каких других целях фактически не могли быть использованы. Такое положение дел привело к появлению идеи так называемой кластеризации ММВС.
 
 
 
 Рис. 13.7 Структурная схема многопроцессорной вычислительной
 машины с неоднородным доступом к памяти и кольцевой последовательной связью процессоров
 
  Кластерная ММВС или просто кластер (от claster – гроздь, пучок) представляет собой многопроцессорный вычислительный комплекс, который построен на базе стандартных вычислительных модулей, соединенных высокоскоростной коммуникационно-коммутационной средой (ККС). Основная идея создания кластерных систем заключается в использовании достаточно развитых и эффективных методов и технологий локальных вычислительных сетей (распределенных систем!) применительно к MPP-системам. Кластеризация получила свое практическое воплощение в середине 1990-х годов, когда благодаря оснащению компьютеров высокоскоростной шиной PCI и появлению относительно дешевой, но быстродействующей сетевой технологии Fast Ethernet, стало реальным построение кластеров, не уступающих по своим коммуникационным характеристикам специализированным MPP-системам того времени. Это означало, что высокопроизводительную MPP-систему можно было создать из стандартных серийно выпускаемых компьютеров и серийных коммуникационных программно-аппаратных средств, причем такая система может обходиться дешевле специализированных MPP-систем в сотни раз. Родственность локальных сетей и кластерных систем иногда прослеживается и в терминологии: встречается наименование кластерных систем (систем сосредоточенного типа) как COWS (Clusters of WorkStations – «гроздья рабочих станций»), а вычислительных сетей (систем распределенного типа) – как NOWS (Network of WorkStations– «сети рабочих станций»).
  Современная кластерная система состоит из вычислительных модулей (ВМод) на базе стандартных аппаратных компонентов (процессоров, модулей памяти), соединенных высокоскоростной ККС, а также, как правило, вспомогательной и управляющей сетями (рис. 13.8).
 
 Рис.13.8. Структурная схема кластерной конфигурации многомашинных вычислительных систем
  В качестве элементарных вычислительных модулей кластера могут использоваться как однопроцессор­ные ВМ, так и архитектуры типа SMP (чаще – двухпроцессорные), ASMP или МРР. Желательным является то, чтобы каждый модуль мог в со­стоянии функционировать самостоятельно и отдельно от кластера. Состав и производительность вычислительных модулей могут быть разными в рамках одного кластера, однако чаще строятся однородные кластеры. С помощью вспомогательной сети обычно решается задача эффективного доступа модулей к данным (например, к массиву внешних дисковых ЗУ). Управляющая сеть отвечает за распределение задач между модулями кластера и управление параллельно протекающими процессами. Она также используется для сетевой загрузки операционных систем модулей и управления модулями на уровне операционной системы, в том числе мониторинга температурного режима и других параметров работы модулей.
  Показательными характеристиками кластерных систем являются наращиваемая масштабируемость (кластер строится так, что его можно на­ращивать постепенно путем добавления новых модулей), абсолютная масштабируемость (возможность создания структур, практически неограниченных по числу модулей), высокий коэффициент готовности (отказ одного или нескольких модулей кластера не приводит к потере его работо­способности, поскольку каждый из модулей является самостоятельной машиной или системой), экономное соотношение цена/производительность (кластер компонуется из стандартных серийно выпускаемых, а поэтому относительно дешевых компонентов).
  Модули ММВС могут составлять различные по топологии схемы взаимного соединения. Простейшими вариантами таких схем являются классические звездообразные и кольцевые топологии. Небольшие системы часто строятся по звездообразной схеме с использованием центрального коммутатора. Альтернативная схема представляет собой кольцо, в котором каждый узел соединяется с двумя соседними узлами без помощи коммутаторов. Более сложным вариантом является двумерная топология, представляющая собой решетку или сеть. Такая схема обладает высокой степенью регулярности и легко масштабируется до достаточно больших размеров. Самый длинный путь между двумя узлами называют диаметром решетки. Диаметр решетки увеличивается пропорционально квадратному корню от общего числа узлов решетки. Один из вариантов топологии решетки, у которой крайние узлы соединены друг с другом, называется «двойным тором». Такая схема обладает большей устойчивостью к повреждениям и сбоям, чем простая решетка, к тому же дополнительные линии связи снижают ее диаметр. Регулярную трехмерную топологию представляет собой топология «куб». Из двух трехмерных кубов с помощью соединений соответствующих узлов может быть построен четырехмерный куб. Дальнейшее развитие этой идеи позволяет создавать пятимерные кубы, шестимерные кубы и т. д. Созданный таким образом N-мерный куб называется «гиперкубом». Подобная топология используется во многих многомашинных системах, реализующих параллельные вычисления. Это связано с тем, что диаметр в таких системах растет линейно в зависимости от размерности, в результате чего схема обладает низкими временными задержками. Платой за небольшой диаметр гиперкуба является большое число ответвлений на каждом узле, пропорциональное размерности гиперкуба, и, таким образом, значительное количество связей между узлами и, соответственно, их повышенная суммарная стоимость.
 
 13.2. Организация коммуникационных сред
 
  Выбор коммуникационной среды (так называемого интерконнекта), обеспечивающей основную информационную связь между вычислительными элементами МВК, определяется многими факторами: особенностями решаемых задач, требуемой производительностью вычислений, экономическими соображениями, вопросами масштабируемости и т.п. Наиболее доступными и компромисными типами коммуникационной среды являются сети на основе технологий Fast Ethernet и Gigabit Ethernet. Высокоскоростное сетевое соединение Gigabit Ethernet обеспечивает пропускную способность на уровне наиболее распространенного и производительного протокола передачи сообщений, применяемого в МВК, – интерфейса MPI (Message-Passing Interfase – интерфейс передачи сообщений) – около 70 Мбайт/с и задержку (промежуток времени между отправкой и получением пакета данных) примерно 50 мкс. Такие характеристики вполне приемлемы при решении задач, не требующих интенсивных обменов данными (например, визуализация трехмерных сцен или обработка геофизических данных). Однако для решения более сложных задач, особенно расчета процессов в реальном режиме времени, этих значений параметров быстродействия обмена данными становится не достаточно. В таких случаях находят применение специально разработанные для МВК технологии интерконнекта SCI, Myrinet, QsNet, InfiniBand и др.
  Коммуникационная среда SCI (Scalable Coherent Interface – масштабируемый когерентный интерфейс) обеспечивает построение масштабируемой коммуникационной среды для объединения процессоров и модулей памяти, создания распределенной сети рабочих станций, организации ввода/вывода суперкомпьютеров и высокопро­изводительных серверов.
  Каждый отдельный вычислительный модуль МВК (обычно называемый узлом), соединяемый с другими узлами коммуникационной средой на базе SCI, имеет входной и выходной каналы (соединения, для наименования которых используется достаточно распространенный в профессиональной среде термин – «линк»). Узлы связаны однона­правленными каналами «точка-точка» либо с соседним узлом, либо подключены к коммутатору. При объединении узлов должна обязательно формироваться цикличес­кая магистраль (кольцо) из узлов, соединенных каналами «точка-точка» между вход­ным и выходным каналами каждого узла. Один узел в кольце, называемый «чистиль­щик» (scrubber), выполняет функции инициализации узлов кольца с установлением адресов, управления таймерами, уничтожения пакетов, которые не нашли адресата. Этот узел помечает проходящие через него пакеты и уничтожает уже помеченные пакеты. В кольце может быть только один чистильщик. Возможно построение многокольцевых систем, связанных через агентов. Агент-коммутатор или агент-мост обеспечивают соединение между разными кольцами или между кольцом и коммутационной средой с другим протоколом, например, шинами PCI. Посредством SCI могут быть реализованы различные структуры межсо­единений.
  Возможности, функционально эквивалентные тем, что предоставляются при вза­имодействии устройств на шине, реализуются путем образования однонаправленной магистрали между узлами, состоящей из цепочки соединений «точка-точка» меж­ду узлами и коммутаторами межузловых соединений. Однонаправленность пере­дач в SCI имеет принципиальный характер, так как исключает переключение выход­ных ножек микросхем с передачи на прием и обратно. Такое переключение создает большие электрические помехи. Таким образом, вместо физической шины использу­ется множество парных соединений, обеспечивающих высокую скорость передачи. Вследствие этого преодолеваются, во-первых, фундаментальное ограничение шин – одна передача в каждый промежуток времени предоставления шины передающему устройству, а, во-вторых, ограни­чения, связанные со скоростью распространения сигналов по проводникам (в случае асинхронных шин такое ограничение обусловлено временем передачи сигналов «запрос-подтверждение», а в случае синхронных шин – разницей между временем распространения тактового сигнала от его генератора и временем распространения данных от передающего устройства).
  Связи между узлами SCI реализуются как 18 пар проводов, несущих дифференциальные электрические сигналы с передачей информации по переднему и заднему фронту на частоте 250 МГц. SCI ис­пользует 16-битную магистраль данных, а также одну сигнальную линию для пере­дачи тактового сигнала и еще одну сигнальную линию для передачи флагового бита. Информационный обмен между узлами SCI, реализуемый посредством транзак­ций, включает помимо обычных для шинных структур транзакций «чтения» и «записи» средства синхронизации: замки (lock), поддержку когерентности строк кэш-памяти и основ­ной памяти, передачу сообщений и сигналов прерываний. Все транзакции пересыла­ют SCI пакеты между узлом-источником и узлом-получателем. Транзакции предусматривают передачу пакетов с блоками данных фиксированной длины 64 и 256 бай­тов, а также переменной длины 1–16 байтов. Форматы транзакций не зависят от топологии. Фиксированная длина пакетов упрощает логику и увеличивает быстродействие интерфейсных схем.
  В SCI реализуется 64-разрядная архитектура с 64-битным адресным пространс­твом. Старшие 16 битов задают адрес узла и используются для маршрутизации SCI пакетов между узлами системы. Остальные 48 битов – адресация внутренней памя­ти узла. SCI ориентирован на поддержку строк размером 64 байта. Другие размеры строк автоматически поддерживаются в многоуровневых блоках кэш-памяти.
  Узлы SCI должны отсылать сформированные в них пакеты, возможно, с одновре­менным приемом других пакетов, адресованных узлу, и пропуском через узел тран­зитных пакетов. Для транзитных пакетов, при­бывающих во время передачи узлом собственного пакета, предусмотрена проходная очередь. При дисциплине, когда собственный пакет не передается до тех пор, пока есть транзитные, необходимая длина проходной очереди определяется длиной передаваемых узлами пакетов. Размер проходной очереди должен быть достаточен для приема пакетов без переполнения. В узле вводятся также входная и выходная очереди для пакетов, соответственно, принимае­мых и передаваемых узлом.
  Узел SCI принимает поток данных и передает другой поток данных. Эти потоки состоят из SCI пакетов и свободных (пустых) символов. Через каналы непре­рывно передаются либо символы пакетов, либо свободные символы, которые запол­няют интервалы между пакетами. В случае, если передавать нечего и проходная очередь узла пуста, он передает на выход свободный символ.
  Интерконнект SCI обеспечивает пропускную способность на уровне MPI от 200 до 325 Мбайт/с и задержку менее 3 мкс.
  Первое поколение коммуникационной среды Myrinet было разработано фирмой Myricom в 1994 году. В настоящее время актуально третье поколение этого интерконнекта – Myrinet 2000.
  Среда Myrinet стандартизует формат пакета, способ адресации ВМ, набор управля­ющих символов протокола передачи пакетов. Коммуникационная среда образуется адаптерами «шина компьютера – линк сети» и коммутаторами линков сети. Каждый линк содержит пару однонаправленных каналов, образуя дуплексный канал. Стандарт Myrinet предусматривает два основ­ных типа коммуникационных сред: SAN (System-Area Network – системная сеть) и LAN (Local-Area Network – локальная сеть). Эти среды различаются протоколами физического уровня. Среда SAN, предназначенная для объединения плат внутри стойки, имеет общее заземление и использует для передачи однофазные сигналы. В отличие от SAN среда LAN при­меняется для объединения ВМ, разнесенных в пространстве, например, по стойкам, расположенным на разных этажах здания. Среда LAN использует для передачи дан­ных парафазные сигналы.
  Линк коммуникационной среды SAN состоит из 20 проводников, по десять для образования каждого из противоположно направленных каналов. Канал имеет 8 линий для передачи байта данных, одну линию для передачи специального сигнала D «данные/управление» (D = 1 – данные, D = 0 – управление), одну линию, направленную противоположно предыдущим девяти, для передачи специального сигна­ла В блокирования передачи от приемника (B = 1 – STOP, B = 0 – GO). Получатель функционирует асинхронно и может принять символ, когда тот по­явится.
  Линк коммуникационной среды LAN состоит из 18 витых пар проводников, по девять для образования каждого из противоположно направленных каналов. Канал имеет следующие линии: 8 линий для передачи байта данных, одну линию для передачи специального сигнала D «данные/управление» (D = 1 – данные, D = 0 – управление). Передача сигналов парафазная.
  Коммуникационная среда Myrinet обеспечивает пропускную способность на уровне MPI до 250 Мбайт/с с задержкой 7 мкс, а в новое программное обеспечение этой среды позволяет сократить задержку в два раза.
  Коммуникационная среда QsNet разрабатывалась специально для построения па­раллельных систем из серийных микропроцессоров. Среда QsNet формируется из адаптеров «шина РСI – линк QsNet» и коммутаторов. Между парой адаптеров может быть установлено как прямое соединение кабелем «адаптер-адаптер», так и коммутируемое через ком­мутаторы. Структуры систем, построенных с использованием QsNet, не отличаются от структур, созданных на базе среды Myrinet. Линк QsNet – 2 противоположно направленных канала, каждый шириной по 10 бит.
  QsNet – достаточно производительное и дорогое оборудование, обеспечивающее пропускную способность до 900 Мбайт/с и задержку менее 2 мкс.
  На сегодняшний день наиболее перспективна технология коммуникационной среды InfiniBand. Архитектура InfiniBand предлагается как комплексное решение многих про­блем: увеличения пропускной способности интерфейса ввода-вывода высокопроизводительных ВМ серверов, создания эффективных универсальных коммуника­ционных сред для МВК, локальных и глобальных сетей. Эта архитектура вобрала в себя множество апробированных идей, часть из кото­рых использована в выше рассмотренных технологиях коммуникационных сред. Однако именно комплексность и новизна служат источником больших затрат на пути практического использования архитектуры InfiniBand.
  InfiniBand представляет собой архитектуру сетей SAN для объединения в систему множества независимых узлов – процес­сорных платформ, платформ ввода-вывода и уст­ройств ввода-вывода. InfiniBand может использоваться как в небольших системах с одним процессором и несколькими устройствами ввода-вывода, так и в массово-парал­лельных системах с сотнями процессоров и тысячами устройств ввода-вывода. На основе InfiniBand создается коммуникационная среда, позволяющая многим устройс­твам устанавливать одновременные соединения с высокой пропускной способностью и малой задержкой при безопасном удаленном управлении. Устройства могут взаимодейс­твовать через множество портов, а также использовать совокупность различных путей через коммуникационную среду, что позволяет повысить отказоустойчивость и пропус­кную способность. Архитектура InfiniBand описывает передачу данных и управляющую инфраструкту­ру как для поддержки операций ввода-вывода, так и для межпроцессорных ком­муникаций. Межсетевой протокол входит составной частью в InfiniBand, что позволяет применять его как мост между системами с InfiniBand и вычислительными сетями или удаленными ВМ.
  Важнейшими компонентами сетей InfiniBand являются так называемые канальные адаптеры. Канальный адаптер служит устройством, которое соеди­няет узел с коммуникационной средой. Канальный адаптер для процессорно­го узла называется процессорным адаптером, а для узла ввода-вывода – исполнительным адаптером. При коммуникации между узлами канальные адаптеры создают пакеты из сфор­мированных в узлах сообщений. Пакеты служат информационным блоком, передава­емым через коммуникационную среду. Коммутаторы и маршрутизаторы только продвигают пакет между узлами от узла-источника до узла-получателя. Канальный адаптер узла-получателя собирает сообщения из поступивших пакетов и передает эти сообщения в память узла-получателя.
  Каждый адаптер имеет уникальный глобальный идентификатор, присва­иваемый производителем адаптера. Адаптер может иметь несколько портов для под­соединения линков коммуникационной среды. Каждый порт также имеет глобаль­ный идентификатор, присваиваемый производителем. При инициализации сети InfiniBand менеджером подсети каждому порту адаптера приписывается локальный идентификатор или диа­пазон локальных идентификаторов.
  Текущая реализация InfiniBand имеет пропускную способность на уровне MPI до 1900 Мбайт/с и время задержки от 3 до 7 мкс. Компанией PathScale разработан высокоскоростной адаптер, который реализует стандартные коммутаторы и кабельную структуру InfiniBand, используя собственный транспортный протокол. Это позволило снизить время задержки до величины 1,3 мкс.
 
 13.3. Способы организации коммутации
 
  Для формирования коммуникационно-коммутационных сред используются различные типы коммутационного оборудования. Коммутаторы МВК подразделяют на простые коммутаторы и составные коммутаторы, компонуемые из простых. Простые коммутаторы имеют малую задержку при установлении полнодоступных соединений, но в силу физических ограничений могут быть построены только для систем с малым числом вычислительных модулей. Составные коммутаторы с большим числом входов и выходов строятся путем объединения простых коммутаторов в разнообразные многокаскадные схемы с линиями связи типа «точка-точка». Способы такого объединения зависят от требований, предъявляе­мых к коммутатору как к элементу вычислительной системы.
  Простые коммутаторы могут быть двух типов: с временным и пространственным разделени­ем.
  Простые коммутаторы с временным разделением называют также шинами или шинными структурами. Их особенность заключается в использовании общей информационной магистрали для передачи данных между устройствами, подключенными к шине. Как правило, шины состоят только из пассивных элементов, и все управле­ние передачами выполняется передающим и принимающим устройствами. Так как между разными устройствами возникает состязание за пользование общим ресур­сом, то необходимо управление предоставлением шины передающему устройству. Вопросы управления и разрешения конфликтов в шинных структурах рассмотрены ранее в разделе 5.
  Шина как среда распространения сигналов может быть реализована не только совокупностью проводников, но и памятью. В этом случае входной порт коммутато­ра помещает данные либо в соответствующий ему входной буфер для дальнейшего их извлечения выходным портом, которому эти данные предназначены, либо входной порт сразу размещает данные в соответствующем буфере выходного порта. При ис­пользовании памяти арбитраж в коммутаторе выполняется на уровне доступа к эле­ментам входных и выходных буферов.
  Локальные сети, например Ethernet и Token Ring с протоколами, использующими общую среду распространения сигналов, также служат коммутаторами с временным разде­лением и реализуют логический протокол шинной структуры.
  Хотя шина может быть достаточно надежной и требовать небольшого объема оборудования для своей реализации, она является критическим ресурсом, способным вызвать отказ всей системы. Шинным структурам присущ ряд фундаментальных ограничений. Во-первых, как бы ни была высока скорость передачи по шине, требуется время на выполне­ние арбитража, и при увеличении числа подключаемых к шине устройств возраста­ет сложность схемы арбитра. Кроме того, время арбитража также увеличивается при увеличении числа подключенных к шине устройств. При частых предоставлениях шины для использования разными устройствами время арбитража существенно ог­раничивает пропускную способность. Во-вторых, в каждый момент времени шина используется для передачи данных только одним устройством, что становится узким местом в системах со многими устройс­твами. В-третьих, пропускная способность шины ограничивается шириной шины и тактовой частотой работы шины. К серьезным проблемам приводят и физические ограничения, связанные с отражением сигналов и изменением нагрузки при изменении числа устройств.
  В целом, на пропускную способность шинной структуры оказывают влияние число активных (способных передавать данные) устройств, алгоритм арбитража, способ управления (централизованный или распределенный), ширина шины, механизм обработки сбоев и отказов, способ синхронизации передачи данных по шине и возникающие задержки (из-за необходимости реализации механизма «запрос-ответ» при асинхронной пере­даче или из-за обеспечения надежного стробирования тактовым сигналом передаю­щего и принимающего устройств при синхронной передаче).
  Простые коммутаторы с пространственным разделением способны соединить любой вход с любым одним выходом (ординарные) или подмножеством выходов (неорди­нарные). Простейшим примером такого коммутатора является перекрестно-координатный коммутатор, представленный на рис. 13.2.
  В общем случае коммутатор с пространственным разделением представляет собой совокупность мультиплексоров, число которых равно количеству выходов коммутатора. Количество входов коммутатора может быть произвольным. Каждый вход должен быть заведен на все мультиплексоры коммута­тора.
  Основными достоинствами коммутаторов с пространственным разделением являются полнодоступность и минимальные задержки, а недостатками – высокая сложность порядка n х m (где n – число входов, m – число выхо­дов), ограничения по количеству выходов коммутатора (связаны с возможностя­ми размножения входов для подсоединения к каждому мультиплексору). Отметим, что для реализации шины нужен только один мультиплек­сор. Его выход подсоединяется к входам всех устройств, подключенных к шине. Устройство управления шины обеспечивает возможность только одному устройству подавать данные на соответствующий вход мультиплексора.
  Итак, простые коммутаторы, как с временным, так и пространственным разделени­ем, имеют ограничения по числу входов и выходов, а коммутаторы с пространствен­ным разделением, кроме того, требуют для своего построения большого объема обо­рудования.
  Составные коммутаторы с большим числом входов и вы­ходов строятся из совокупности коммутаторов с меньшим числом входов и выходов путем объединения этих коммутаторов линиями «точка-точка», что снижает требования к размножению входов. Объем оборудования составного коммутатора меньше, чем у прямоугольного коммутатора с теми же количествами входов и выходов. Однако эти коммутаторы имеют задержку, пропорциональную числу каскадов (числу простых коммутаторов, которые сигнал проходит от входа до выхода составного коммутатора).
  Как правило, составные коммутаторы строятся из простых коммутаторов 2 x 2 с двумя входами и двумя выходами. Эти коммутаторы имеют два состояния: прямое пропускание с соответствующих входов на выходы и перекрестное пропускание. Отметим, что если используется коммутатор с временным разделением, то коммута­ции входов с соответствующими выходами разносятся во времени.
  Подчеркнем два важных свойства коммутаторов 2 x 2:
  1) если два входа хотят со­единиться с одним выходом, то коммутатор разрешает конфликт и связывает только один вход с этим выходом, блокируя или отвергая второе соединение;
  2) коммутато­ры могут иметь или не иметь внутреннюю буферизацию, что связано с эффективнос­тью строящихся составных коммутаторов.
  Аналогично простым коммутаторам 2 x 2 могут быть построены простые ком­мутаторы m х n с m входами и n выходами.
  Составной коммутатор создается путем объединения совокупности простых коммутаторов m х n , входы которых либо являются входами составного коммута­тора, либо подключены к выходам одного или разных других простых коммутато­ров этой совокупности. Соответственно оставшиеся при таком объединении сво­бодными выходы простых коммутаторов служат выходами составного коммутатора. Структура такого составного коммутатора задается ориентированным графом, каж­дая вершина которого имеет m входящих ребер и n выходящих. Установление соеди­нений входов с выходами называется коммутацией. Для установления коммута­ции требуется подать управляющие числа на каждый вход каждого из простых ком­мутаторов, образующих составной.
 Составные коммутаторы могут быть:
  1) полнодоступными и частично доступными (неполнодоступными);
  2) неблокируемыми, блокируемыми и неблокируемыми с перекоммутацией;
  3) ординарными и неординарными.
  Коммутатор называется полнодоступным, если может быть установлено соеди­нение любого входа с любым его выходом. Если любой вход не может быть соеди­нен, по крайней мере, с одним выходом, то коммутатор является неполнодоступным.
  Коммутатор называется неблокируемым, если может быть установлено соеди­нение свободных входа и выхода при наличии установленных соединений других входов и выходов. Если хотя бы одно такое соединение не может быть установлено, коммутатор называется блокируемым. Если для вновь соединяемых входа и выхода может быть установлено соединение путем перекоммутации уже существующих со­единений с их сохранением, то такой коммутатор называется неблокируемым с перекоммутацией.
  Коммутатор называется ординарным, если он соединяет только один вход с од­ним выходом. Если возможно установление соединения входа с произвольным под­множеством выходов, то коммутатор называется неординарным.
  Составные коммутаторы с числом входов N и выходов M могут быть построены с использованием различного числа по-разному соединенных друг с другом простых коммутаторов. Используемые простые коммутаторы могут быть как одинаковыми, так и разными, то есть иметь различное число входов и выходов. Естественными тре­бованиями к различным способам построения составных коммутаторов являются требования минимизации количества используемых простых коммутаторов; минимизации количества коммутаторов, участвующих в соединении любого входа с любым выходом (каскадность коммутатора); минимизации сложности алгоритма установления коммутаций.
  Типичным представителем составных ком­мутаторов является так называемый коммутатор Клоза. Это полнодоступный, небло­кируемый с перекоммутацией, ординарный коммутатор. Коммутатор Клоза представляет собой составной коммутатор с m х d входами и m х d выходами. Он формируется из m входных коммутаторов d х d, m выходных коммутаторов d х d и d промежуточных коммутаторов m х m. Таким образом, коммутатор Клоза состоит из трех каскадов коммутаторов: входных, промежу­точных и выходных. Внутри составного коммутатора реализуются следующие виды соединений:
 ? k-й выход i-го входного коммутатора соединен с i-м входом k-го промежуточ­ного коммутатора;
 ? k-й вход j-го выходного коммутатора соединен с j-м выходом k-ro промежу­точного коммутатора.
  Коммутатор Клоза способен со­единять любой вход с любым выходом, однако при уже установленных соединени­ях части входов и выходов добавление соединения еще одного входа и выхода может потребовать переустановления всех соединений.
  К достаточно распространенному типу составных ком­мутаторов относятся баньян-сети (пример описан в разделе 13.1 и представлен на рис.13.3). Такие коммутаторы являются полнодоступными неблокируемыми ординарными коммутатором, сконструированными так, чтобы пре­дельно упростить сложность алгоритма установления коммутаций. Эти коммутаторы строятся на базе прямоугольных коммутаторов a х b таким об­разом, что существует только один путь от каждого входа к каждому выходу.
  Важным подклассом баньян-сетей являются так называемые дельта-сети. Дельта-сеть формируется из коммутаторов a х b и представляет собой n-каскадный коммутатор с a в степени n входами и b в степени n выходами. Составляющие коммутаторы соединяются так, что образуется единственный путь одинаковой длины для соединения любого входа с любым выходом.
  В сложных МВК происходит распределение ресурсов между задачами, каждая из которых исполняется на своем подмножестве процессо­ров. В связи с этим появляется понятие «близости» процессоров, которое должно вы­ражаться в различных расстояниях (различной каскадности соединений) между ними. Более эффективный подход к построению составных коммутаторов заключается в реализации так называемых распределенных составных коммутаторов. В этом случае составной коммутатор строится из прямоугольных коммутаторов, а один из входов и один из выходов каждого состав­ляющего коммутатора служат входом и выходом составного коммутатора. Такой способ построения составных коммутаторов предусматривает, что к каждому составляюще­му коммутатору подключаются процессор и память, образуя в совокупности вычисли­тельный модуль с каналами для соединения с себе подобными модулями. Свободные входы и выходы каждого вычислительного модуля соединяют­ся линиями связи типа «точка-точка» с входами и выходами других коммутаторов, образуя граф межмодульных связей.
  С точки зрения простоты организации передач данных между вычислительными модулями наиболее подходящий граф межмодульных связей – полный. При полном графе между каждой парой модулей прокладывается линия, по которой, как по кратчайше­му пути, выполняется обмен данными между ними. Возможны также одновременные обмены между произвольными подмножествами передающих и принимающих модулей.
  Проблема выбора графа межмодульных связей возникает при невозможности свя­зать линиями каждую пару вычислительных модулей. Отсутствие линий между модулями приводит к тому, что об­мен данными между ними выполняется через цепочки транзитных модулей. Это требует определения трасс передачи данных, что является трудоемкой задачей теории графов. Поскольку обмен между модулями требует транзитных передач, увеличивается время вы­полнения и ограничивается возможность одновременного проведения различных об­менов. Поэтому граф межмодульных связей должен выбираться исходя из минимиза­ции времени выполнения межмодульных обменов и максимизации числа одновремен­но выполняемых обменов. Важный аспект в проблему выбора графа межмодульных связей вносит учет отка­зов и восстановлений вычислительных модулей и линий связи.
 
 13.4. Примеры практической реализации
 многопроцессорных вычислительных комплексов
 
  Компания SGI (Silicon Graphics Intercomparated) представляет многопроцессорные SMP-компьютеры моделей PowerChallenge XL на базе супер­скалярных процессоров MIPS R8000. В этих моделях устанавливается от 1 до 18 процессоров, объем адресуемой оперативной памяти достигает 16 Гбайт, объем дисковой памяти – 6,3 Тбайт. Пиковая производительность составляет от 0,36 до 6,5 GFlops, производительность системы ввода/вывода – до 1,2 Гбайт/с. Компания SGI также предлагает кластеры PowerChallenge Earray, которые могут содержать до 8 SMP-компьютеров PowerChallenge XL. Такие кластеры содержат до 144 процессоров, объем адресуемой оперативной памяти достигает 128 Гбайт, объем дисковой памяти – до 63 Тбайт, пиковая производительность составляет 52 GFlops, производительность системы ввода/вывода – до 4 Гбайт/с.
  Еще один модельный ряд МВК от компании SGI – серия кластерных систем SGI Altix 3000. Эти системы основаны на архи­тектуре глобальной разделяемой памяти SGI NUMAflex, которая являет­ся реализацией архитектуры неоднородного доступа к памяти (NUMA). Дизайн NUMAflex позволяет помещать процессор, память, систему ввода/вы­вода, соединительные кабели, графическую подсистему в модульные компоненты, называемые блоками. Эти блоки могут комбинироваться и конфигурироваться с большой гибкос­тью, чтобы удовлетворять потребности клиента в ресурсах и рабочей на­грузке. Система SGI Altix 3000 построена на основе традиционных блоков вво­да/вывода, хранения данных и соединитель­ных компонентов (маршрутизирующие блоки). Процессорный блок реализован на базе процессоров Intel Itanium 2. Модели SGI Altix 3000 могут содержать до 64 процессоров.
  Ключевой особенностью системы SGI Altix 3000 является использование каскади­руемых коммутаторов в маршрутизирующих элементах. Каскадируемые коммутаторы обеспечивают системе малое время задержки, которое критично для машин, использующих архитектуру неоднородного доступа к памяти (так как память в NUMA-архитектуре распределяется между узлами, а не сосредоточена в одном месте). Каскадируемые коммутаторы используют каталогизируемую схему памя­ти для отслеживания данных, находящихся в разных модулях кэш-памяти, в результате чего сравнительно меньшие объемы данных пересылаются между частями памяти, что способствует снижению задержек по сравнению с традиционными системами, основанными на шинах.
  Компанией Sun Microsystems разработана серия масштабируемых серверов Sun Ultra Enterprise. Эта серия включает группы серверов рабочих групп Sun Enterprise 10s, 250, 220R, 450 и 420R, группы серверов отделов предприятий Sun Enterprise 3500 и 4500, группы серверов масштаба предприятия Sun Enterprise 5500, 6500 и 10000. Двухпроцессорный SMP-сервер мас­штаба рабочей группы Sun Enterprise 250 базируется на процессорах UltraSPARC. В составе сервера Sun Enterprise 450 работают до четырех процессоров UltraSPARC, имеется возможность подключения внешних накопителей общей емкостью до 6 Тбайт. В серверах Sun Enterprise 4500 и 5500 возможна установка до 14 процессоров. Основная память расширяется от 256 Мбайт до 14 Гбайт. Поддерживается более 6 Тбайт внешней памяти. В сервере Sun Enterprise 6500 количество процессоров может изменяться от 1 до 30, основная память масштабируется от 256 Мбайт до 30 Гбайт, поддерживается более 10 Тбайт внешней памяти. Общая архитектура семейства серверов Sun Enterprise 3500 – 6500 позволяет производить локальное наращивание вычислительных возможностей пу­тем подключения до 30 процессоров. Сервер Enterprise 10000 поддерживает до 64 процессоров UltraSPARC и до 64 Гбайт разделяемой па­мяти, ширина пропускания внутрисистемной магистрали достигает 12 Гбайт/с, обеспечивается поддержка до 20 Тбайт дискового пространства.
  Компанией IBM в 2001 году разработан масштабируемый кластер 1350, состоящий из серверов (модулей) IBM xSeries, объединенных соответствующими коммуникационными сетями и системами управления. Схема такого кластера (или суперкластера) представляет собой несколько логических слоев, и уровень сложности возрастает при увеличении размера системы. Хотя число модулей, необходимых для решения задачи, относительно легко оценивается для любого приложения, в действи­тельности требуемое число модулей оказывается больше из-за необходимости иметь сервисные узлы, обслуживающие инфраструктуру кластера. Так, для каждых 32-64 модулей, в зависимости от компоновки, необходим центральный управляющий модуль (узел) с соответствую­щей конфигурацией.
  Стандартным вычислительным модулем для кластера 1350 является IBM xSeries 335 на основе одного или двух процессоров Intel Pentium Хеоn. В качестве узла управления в кластере 1350 используется сервер xSeries 345, также основанный на процессорах Хеоn. В качестве межпроцессорно­го соединения используются технологии Fast Ethernet, Gigabit Ethernet и Myrinet 2000. В последнем случае пропускная способность канала составляет около 200 Мбайт/с в каждом направлении со временем задержки 6-8 мкс. Число модулей кластера 1350 варьируется от 8 до 128 в зависимости от класса кластера (начальный, средний, профессиональный, высокопрофессиональный), объемы основной памяти могут составлять от 18 до 36 Гбайт.
  Компания Hewlett-Packard (HP) выпускает серверы серий HP 9000 и HP Integrity. Для построения гибких масштабируемых систем эти серверы мо­гут объединяться в кластеры. Узлы кластера, каждый из которых представляет собой самостоятельный сервер (со своими процессорами и оперативной памятью), рабо­тающий под управлением своей операционной системы, соединяются при помощи коммуникационных сред и специальных протоколов связи. и системные процессы. В состав кластера, помимо сер­веров, входят также массивы дисковой памяти и устройства ре­зервного копирования. В зависимости от требуемого уровня отказоустойчи­вости компания HP предлагает несколько типов кластерных реше­ний, в которых серверные узлы кластера могут быть раз­мещены централизованно (локальный кластер), распре­делены по соседним зданиям (кампусный кластер), рас­пределены по нескольким территориям в пределах од­ного города (метро-кластер) или представляют собой два связанных кластера, размещенных в различных городах, странах или континентах (континентальный кластер).
  В моделях серии HP 9000 ранее использовались процессоры семейства PA-RISC (РА-8700, РА-8800 и РА-8900), а в последнее время осуществляется переход на использование процессоров Intel Itanium 2 с архитектурой IA64. Номенклатура серии HP 9000 насчитывает более десятка моделей – от компакт­ных серверов rр3410-2 и rр4440-8 до суперкомпьютеров Superdome, обладающих вычислительной мощностью, достаточной для работы систем управления крупными международными корпорациями с десятками тысяч од­новременно работающих пользователей.
  Архитектура серверов серии HP 9000 различна – младшие модели строятся на базе архитектуры SMP в чистом виде, тогда как в старших моделях (rp7420-16, rp8420-32, Superdome) используется гибрид­ная архитектура, сочетающая черты NUMA и SMP. Эта ие­рархическая модульная архитектура представляет собой совокупность вычислительных модулей, объединенных высокоскоростными матричными координатными коммутаторами.
  Модели начального уровня rр3410-2, rр3440-4, rр4410-4 и rp4440-8 представляют собой многофункци­ональные серверы, комплектуемые разным числом процессоров (от 1 до 8) и оперативной памятью объемом до 128 Гбайт. К моделям среднего уровня относятся 16-процессорная модель rр7420-16 и 32-процессорная модель rр8420-32. В одной стандартной стойке может быть установлено до четырех серверов rр7420-16 и до двух rр8420-32. В моделях суперкомпьютеров HP 9000 Superdome число процессоров может достигать 128, а общий объем оперативной памяти – 1 Тбайт.
  Серверы HP Integrity в последнее время строятся на базе двухпроцессорных модулей HP mx2 Dual-Processor Module с процессорами Intel Itanium 2. Модели начального уровня HP Integrity rx1620-2, rx 2620-2 и rx 4640-8 оснащаются процессорами Itanium 2 с так­товыми частотами 1,3; 1,5 и 1,6 ГГц. Модель rх4640-8 включает 4 двухпроцессорных моду­ля mх2. Макси­мальный объем ОЗУ для rx1620-2 составляет 16 Гбайт, для rx2620-2 – 32 Гбайт, а для rx4640-8 – 128 Гбайт. К моделям среднего уровня се­рии Integrity относятся 16- и 32-процессорные серверы rx7620-16 и rx8620-32. Они стро­ятся на процессорах Itanium 2 с тактовой частотой 1,5 ГГц (кэш L3 – 4 Мбайт) и 1,6 ГГц (кэш L3 – 6 Мбайт). Объем ОЗУ в серверах rx7620-16 может достигать 128 Гбайт, а в rx8620-32 – 256 Гбайт. В суперкомпьютерах (суперсерверах) HP Integrity Superdome число процессоров Itanium 2 (1,6 ГГц с кэшем 9 Мбайт или 1,5 ГГц с кэшем 6 Мбайт) может достигать 128, а общий объ­ем оперативной памяти – 1 Тбайт. Для предприятий с непрерывным обслуживанием компания HP предлагает масшта­бируемые МВК Integrity NonStop (с количеством процессоров до 4 тысяч), готовность кото­рых выражается числом 99,99999% (это значит, что в течение года допус­кается не более 5 минут простоя вычислительного комплекса).
  Компания DEC, прекратив свое самостоятельное существование и войдя в состав компании Hewlett-Packard, продолжает работы по обновлению своей линии серверов AlphaServer, на основе которых строились Alpha-кластеры. В семейство AlphaServer входит четыре серии серве­ров: DS, ES, GS и SC. В моделях DS, ES и GS используется до 64 процессоров Alpha EV68, в серверах AlphaServer SC может быть несколько сотен процессоров (до 512 и бо­лее). Все серверы семейства построены по коммути­руемой технологии, что позволяет избежать недостатков, присущих си­стемной шине. Серверы AlphaServer нового поколения имеют высокую степень масштабируемости, позволяя строить системы с использо­ванием всего двух типовых процессорных модулей: 2-процессорных и 8-процессорных.
  Компанией Hitachi разработаны суперсерверы серии SR8000 на основе собственных высокопроизводительных 64-разрядных RISC-процессоров. Модели этой серии могут легко масштабироваться в различные эффективные кластерные конфигурации. Так кластерная конфигурация на базе 512 узлов серии SR8000 с общим объемом оперативной памяти 8192 Гбайт может достигать производительности около 7400 GFlops.
  МВК серии VPP5000 компании Fujitsu может включать от 4 до 128 процессоров (и даже 512 процессоров в специальных вариантах). Каждый процессор имеет память до 16 Гбайт и непосредственно соединяется с другими процессором со скоростью передачи 1,6 Гбайт/с. Объем оперативной памяти составляет от 16 Гбайт до 2048 Тбайт (8192 Тбайт в 512-процессорной конфигурации). Теоретическая пиковая производительность – от 38,4 GFlops до 1229 GFlops (4915 GFlops в 512-процессорной конфигурации).
  Современные суперкомпьютеры Cray T3E компании Cray Research представляют собой высокопроизводительные масштабируемые МВК на базе RISK-процессоров Alpha EV5. Каждый узел Cray T3E содержит один процессорный модуль, включающий процессор, память (объемом от 64 Мбайт до 2 Гбайт) и средство коммутации, которое осуще­ствляет связь между модулями. Разделяемая глобально адресуемая подсистема памяти делает возможным обращение к локальной памяти каждого процессорного модуля. Про­цессорные модули в Cray ТЗЕ связаны в трехмерный тор двуна­правленной высокоскоростной сетью с малым временем задержки. Каналы ввода/вы­вода интегрированы в трехмерную межузловую сеть и пропорциональны размеру системы. При добавлении про­цессорных модулей пропускная способность каналов ввода/вывода увеличивается, и масштабируемые приложения могут выполняться на системах с большим числом процессоров так же эффективно, как и на системах с меньшим числом процессоров. Комплекс Cray ТЗЕ может конфигурироваться до 2048 процессоров. Пиковая производительность составляет 2400 GFlops.
  Компанией IBM в 2004 году представлена модель суперкомпьютера RS/6000 SP с 512 SMP-узлами. Каждый узел имеет 16 процессоров, а вся система в целом – 8192 процессора. Общая оперативная память составляет 6 Тбайт, а дисковую па­мять – 160 Тбайт. При этом обеспечивается пиковая производительность не менее 12000 GFlops.
  Самые мощные вычислительные комплексы входят в состав всемирной рейтинговой таблицы, именуемой Top500. Первые строки этой таблицы в 2004 году занимали следующие МВК:
  1) NEC SX-8 (4096 процессоров, 64 Тбайт ОЗУ, производительность – до 65 TFlops);
  2) Silicon Graphic Columbia (512 х 20 = 10240 процессоров, производительность – до 43 TFlops);
  3) IBM Blue Gene/L (16000 процессоров, производительность – до 36 TFlops);
  4) NEC Earth-Simulator (5120 процессоров, производительность – до 36 TFlops).
  В 2005 году модель суперкомпьютера IBM Blue Gene/L, включающая 131072 процессора, достигла производительности 136 TFlops и заняла первую строку в мировом рейтинге МВК. В этом суперкомпьютере каждый элементарный вычислительный модуль включает два процессора на базе процессорных ядер PowerPC440. По два таких вычислительных модуля размещаются на так называемой мезонинной (промежуточной) плате. На материнской плате устанавливаются 16 мезонинных плат. В стойке размещаются 32 материнских платы, а весь суперкомпьютер Blue Gene/L состоит из 64 стоек и имеет в качестве графа межмодульных связей трехмерный тор 64 х 32 х 32.
  Отечественные разработки МВК базируются на стандартных комплектующих ведущих мировых производителей вычислительных устройств. Многопроцессорная вычислительная система МВС-100 была разработана НИИ «Квант» в кооперации с Институтом прикладной математики Российской академии наук и других академических институтов. МВС-100 производилась в виде типовых конструктивных модулей по 32, 64 и 128 процессоров Intel Pentium II или Pentium III. На смену ей пришла система МВС-1000 на базе процессоров Alpha 21164. Модификация МВС-1000М с производительностью около 1 TFlops впервые вошла в мировой рейтинг Top500 и заняла в нем в 2004 году весьма почетное для новичка 74-е место из 500. Эта разработка достаточно показательна для понимания общих подходов к проектированию МВК, поэтому рассмотрим построение МВС-1000М (рис. 13.9) несколько подробнее.
 
 
 
 Рис. 13.9. Структурная схема многопроцессорного вычислительного комплекса МВС-1000М
 
  МВС-1000М состоит из 6 базо­вых блоков, каждый из которых содержит по 64 двухпроцессорных вычислительных модуля (так называемые вычислительные модули «решающего поля»). В состав вычислительного модуля решающего поля входят 2 процессора Alpha 21264 с тактовой частотой 667 МГц и кэш-памятью второго уровня объемом 4 Мбайт, общая (разделяемая) обеими процессорами оперативная память объемом 2 Гбайт, дисковый накопитель объемом 20 Гбайт (локальная дисковая память), интерфейсная плата сети Myrinet, интерфейсная плата сети Fast Ethernet, источник питания мощностью 600 Вт. Двухпроцессорные вычислительные модули подсоединены через шины PCI к коммуникационной среде Myrinet 2000 (пропускная способность канала 2 Гбит/с) и к сети Fast Ethernet (пропускная способность канала 100 Мбит/с). Коммуникационная среда Myrinet 2000 предназначена для высокоскоростного обмена между модулями в ходе вычислений. Среда Myrinet 2000 со­стоит из шести 128-портовых коммутаторов, размещенных по одному в каждом ба­зовом блоке. К каждому из комму­таторов подключено 64 вычислительных модуля соответствующего блока. Оставшиеся 64 порта каждого коммутатора блока используются для соединения коммутаторов между собой с обра­зованием составного коммутатора. При обмене данными по типу «точка-точка» (то есть между парой двухпроцессорных модулей) с использованием интерфейса MPI достигается пропускная способность на уровне 110-150 Мбайт/с. Сеть Fast Ethernet состоит из 6 коммутаторов, каждый из которых размещен в со­ответствующем вычислительном блоке и подключен к вычислительному модулю этого блока. Коммутатор каждого блока подсоединен гигабитным портом к коммутатору Gigabit Ethernet, че­рез который модули получают доступ к управляющему компьютеру и файл-серверу. Сеть Ethernet служит для начальной загрузки программ и данных в вычислительные модули, доступа модулей к внешним устройствам и файл-серверу, а также для управления и мониторинга ап­паратно-программных средств в ходе вычислительного процесса. Суперкомпьютер МВС-1000М имеет систему бесперебойного электропитания с контролем параметров аппаратуры и окружающей среды. Питание вычислительных модулей и других ап­паратных средств, в том числе агрегатов бесперебойного питания, автоматически от­ключается при достижении критичных состояний.
  Другой отече­ственный МВК, вошедший в Top500 и занявший в рейтинге 407-е место с производительностью в 423,6 GFlops, – кластер «СКИФ К-500», построенный в 2003 году на ба­зе 128 процессоров Intel Xeon и системной сети SCI. Следующий МВК, вошедший в Top500, – это еще один кластер «СКИФ К-1000», разработанный в рамках российско-белорус­ской государственной суперкомпьютерной программы «СКИФ». Этот кластер построен в 2004 году на базе 576 процессоров AMD Opteron и системной сети InfiniBand. «СКИФ К-1000» вошел в первую сотню рейтинга Top500 с произ­водительностью 2,032 TFlops. Самый мощный отечественный кластер (на момент подготовки настоящего учебного пособия) – МВС 15000БМ с производительностью более 5,3 Tflops. Он построен из вычислительных узлов компании IBM на базе процессоров PowerPC и системной сети Myrinet. Этот кластер зани­мает 56-е место в Top500 и установлен в Межведом­ственном суперкомпьютерном центре Российской академии наук.
 
 Резюме
 
 Категория многопроцессорных вычислительных комплексов включает многопроцессорные вычислительные машины («мультипроцессоры») и многомашинные вычислительные системы сосредоточенного типа, а также гибридные схемы МВМ и ММВС.
  МВМ с общей памятью, разделяемой всеми процессорами, строятся на основе архитектур SMP (UMA-мультипроцессоры) и ASMP (NUMA-мультипроцессоры).
  ММВС сосредоточенного типа относят к классу MPP-архитектуры. Переход от архитектуры SMP к MPP позволил практически бесконечно масштабировать систему машин. Такой путь оказался технически и экономически более эффективным, чем увеличение числа процессоров в архитектурах SMP и ASMP.
  Кластерная ММВС представляет собой многопроцессорный вычислительный комплекс, который построен на базе стандартных вычислительных модулей, соединенных высокоскоростной коммуникационно-коммутационной средой. В качестве элементарных вычислительных модулей кластера могут использоваться как однопроцессор­ные ВМ, так и архитектуры типа SMP (чаще – двухпроцессорные), ASMP или МРР.
  Выбор коммуникационной среды, обеспечивающей основную информационную связь между вычислительными элементами МВК, определяется особенностями решаемых задач, требуемой производительностью вычислений, экономическими соображениями, вопросами масштабируемости и другими факторами. Наиболее доступными и отработанными типами коммуникационной среды являются сети на основе технологий Fast Ethernet и Gigabit Ethernet. Для решения сложных задач находят применение высокоскоростные специализированные технологии коммуникационных сред: SCI, Myrinet, QsNet, InfiniBand и др.
  При организации МВК используются различные типы коммутационного оборудования. Коммутаторы МВК могут быть простыми и составными, компонуемыми из простых. В свою очередь простые коммутаторы могут быть коммутаторами с временным разделени­ем и коммутаторами с пространственным разделени­ем, а составные коммутаторы – полнодоступными и частично доступными; неблокируемыми, блокируемыми и неблокируемыми с перекоммутацией; ординарными и неординарными.
  Компаниями SGI, Sun Microsystems, IBM, Hewlett-Packard, Hitachi, Fujitsu, Cray Research, NEC представлены многочисленные примеры создания эффективных МВК, достаточно широко используемых в различных практических приложениях. Отечественные разработки МВК базируются на стандартных комплектующих ведущих зарубежных производителей вычислительных устройств. Некоторые из российских разработок входят в мировой рейтинг наиболее высокопроизводительных МВК.
 Контрольные вопросы и задания
 
 По каким основным архитектурным схемам строятся МВМ с общей памятью, разделяемой всеми процессорами?
 Опишите схемное решение SMP-архитектуры на основе общей шины.
 Объясните высокую эффективность схемных решение SMP-архитектуры с использованием перекрестно-координатных коммутаторов и многоступенчатых коммутаторных сетей.
 Какие цели преследуются при использовании комбинированных схем NUMA-мультипроцессоров с иерархическим расположением шин?
 Охарактеризуйте многомашинные вычислительные системы, относящиеся к классу MPP-архитектуры.
 В чем заключается принципиальная особенность построения кластерных многомашинных вычислительных систем?
 Представьте структурную схему кластерной конфигурации многомашинной вычислительной системы.
 Перечислите важнейшие характеристиками кластерных систем.
 Какие топологические схемы могут составлять модули многомашинных вычислительных систем?
 Назовите основные типы коммуникационных сред, обеспечивающих информационную связь между вычислительными элементами МВК.
 Охарактеризуйте особенности коммуникационной среды SCI.
 Какие значения пропускной способности обеспечиваются коммуникационной средой Myrinet?
 В чем состоит перспективность использования в МВК технологии коммуникационной среды InfiniBand?
 На какие типы подразделяются коммутаторы, применяемые для построения многопроцессорных вычислительных комплексов?
 Какой тип коммутатора называется полнодоступным?
 Чем отличаются ординарные коммутаторы от неординарных?
 Поясните эффективность построения распределенных типов составных коммутаторов.
 Приведите примеры практической реализации наиболее высокопроизводительных многопроцессорных вычислительных комплексов.
 Каково состояние и перспективы разработок отечественных МВК?
 
 
 
 
 
 
 
 
 
 
 
 Заключение
 
  Вычислительная техника претерпела достаточно бурную и сложную эволюцию своего развития, которая начиналась с первых единичных образцов вычислительных машин, построенных на основе электронно-вакуумных ламп. К настоящему времени средства вычислительной техники представлены богатым ассортиментом современных вычислительных машин и систем, разработанных на базе полупроводниковых интегральных микросхем с высокой степенью интеграции электронных компонентов. Этот ассортимент включает массово производимые мобильные и настольные персональные компьютеры, высокопроизводительные рабочие станции, многопроцессорные и многомашинные вычислительные системы, уникальные сверхвысокопроизводительные вычислительные комплексы, а также широкий спектр периферийных, коммуникационных, коммутационных и других вспомогательных устройств. На протяжении всей истории развития вычислительных машин и систем существенно совершенствуются их архитектурные решения, повышается эффективность работы базовых функциональных элементов (особенно таких, как центральные процессоры, основные и внешние запоминающие устройства).
 В процессе развития вычислительной техники проявилась тенденция связи отдельных машин между собой и построения таким образом вычислительных сетей. Эта тенденция к настоящему времени приобрела глобальный характер и привела к значительному прогрессу телекоммуникационных средств и сетевых технологий. Характерной особенностью современного этапа развития вычислительных сетей является интенсивное совершенствование не только кабельных линий связей, но и беспроводных способов передачи информации. Идея объединение нескольких компактно расположенных машин в единый вычислительный комплекс послужила предпосылкой построения эффективных кластерных схем многомашинных вычислительных систем. Кластерные системы успешно применяются для решения сложных задач – от расчетов для науки и промышленности до управления базами данных. Практически любые приложения, требующие высокопроизводительных вычислений, имеют сейчас параллельные версии, которые позволяют разбивать задачу на фрагменты и обсчитывать их параллельно на отдельных узлах кластера. Заметных успехов в разработке и внедрении кластерных систем добились отечественные организации.
  В последние годы наблюдаются высокие темпы развития и совершенствования средств вычислительной техники, существенно возрастает их производительность и мобильность. Уже в скором времени ожидается значительный прогресс в области миниатюризации и улучшения основных функциональных характеристик элементной базы вычислительной техники. Это особенно явно проявляется в сфере производства микропроцессоров, являющихся важнейшими и во многом определяющими компонентами вычислительных машин и систем. Так, ведущая мировая корпорация Intel планирует в ближайшие несколько лет увеличить плотность размещения транзисторов в кристалле процессора до нескольких миллиардов штук на один квадратный сантиметр и достичь тактовых частот, измеряемых десятками ГГц. Планируется дальнейшее совершенствование схемной организации микропроцессоров, в частности, продвижение многопоточных и многоядерных архитектурных решений. Однако даже сейчас современный процессор представляет собой чрезвычайно сложное устройство, а его совершенствование приближается в наиболее важных аспектах к физическому пределу и становится все более проблематичным. Альтернативой усложнения отдельных микропроцессоров является разработка новых многопроцессорных архитектур вычислительных комплексов, реализующих технологию параллельных вычислений. При этом решаются задачи оптимального распараллеливания как электронных схем, так и программного кода. В указанном направлении наиболее эффективный путь представляет интенсификация разработки новых кластерных архитектур вычислительных систем.
  Перспективы развития телекоммуникационных средств и сетевых технологий заключаются в обеспечении максимальной мобильности пользователей, дальнейшем вытеснении технологий выделенных каналов связи технологиями виртуальных частных сетей, существенном увеличении пропускной способности каналов связи (особенно на «последней миле»), значительном повышении надежности сетевой защиты и обеспечении эффективной информационной безопасности.
  Все более ярко проявляются интеграционные тенденции мирового развития вычислительной техники. Это прежде всего интеграция вычислительных мощностей (интеграция разнородных вычислительных систем в единое пространство с динамическим распределением ресурсов между приложениями), интеграция емкостей хранилищ информации и источников данных (интеграция в единую виртуальную базу разнородных баз данных, распределенных территориально и реализованных на разных аппаратных платформах), последующее создание на этой основе глобального информационного пространства. Внедрение новых технологий в сфере высокопроизводительных вычислений позволит кардинально упростить доступ к вычислительным ресурсам и сделать их использование существенно более эффективным. Выравнивание скоростей внутренних шин и внешних соединений способствует решению задачи объединения всех мировых вычислительных ресурсов в единую вычислительную среду.
  Важнейшим направлением развития вычислительной техники является разработка и внедрение ее новой элементной базы, альтернативной традиционным кремниевым электронным компонентам. Все большее внимание уделяется так называемому биокомпьютингу, представляющему собой гибрид информационных технологий, молекулярной биологии и биохимии. Предполагается, что биокомпьютинг позволит решать сложные вычислительные задачи, организуя вычисления при помощи живых тканей, клеток, вирусов и биомолекул. Наиболее распространен подход, при котором в качестве процессора используются молекулы дезоксирибонуклеиновой кислоты (ДНК). Структура ДНК-процессора – это структура молекулы ДНК, а набор команд – это перечень биохимических операций с молекулами. Кроме ДНК в качестве биопроцессора могут быть использованы белковые молекулы и биологические мембраны.
  Одно из наиболее перспективных направлений разработки принципиально новых архитектур вычислительных систем связано с использованием методов обработки информации, заложенных в искусственных нейронных сетях. Такие сети обладают выгодными свойствами, они не требуют детализированной разработки программного обеспечения и открывают возможности решения задач, для которых отсутствуют теоретические модели или эвристические алгоритмы. По своей природе нейронные сети являются системами с очень высоким уровнем параллелизма.
  Разрабатываются и другие альтернативные подходы к построению вычислительных устройств. Несомненно, что XXI век обязательно ознаменуется не только эволюционными, но и революционными процессами развития вычислительной техники.
 
 
 
 
 
 
 

<< Пред.           стр. 9 (из 12)           След. >>

Список литературы по разделу