Редактирование: Параллельная Обработка Данных, 04 лекция (от 25 сентября)

Материал из eSyr's wiki.

Перейти к: навигация, поиск

Внимание: Вы не представились системе. Ваш IP-адрес будет записан в историю изменений этой страницы.

Правка может быть отменена. Пожалуйста, просмотрите сравнение версий, чтобы убедиться, что это именно те изменения, которые вас интересуют, и нажмите «Записать страницу», чтобы изменения вступили в силу.

Текущая версия Ваш текст
Строка 1: Строка 1:
-
[[Параллельная Обработка Данных, 03 лекция (от 18 сентября)|Предыдущая лекция]] | [[Параллельная Обработка Данных, 05 лекция (от 02 октября)|Следующая лекция]]
+
[[Параллельная Обработка Данных, 03 лекция (от 18 сентября)|Предыдущая лекция]] | [[Параллельная Обработка Данных, 04 лекция (от 02 октября)|Следующая лекция]]
-
=Коммуникационные среды и технологии=
+
Распростарненные ком технологии:
-
==Распространенные коммуникационные технологии==
+
*FastEthernet. Сейчас на нем кластеры уже почти не делают, но приведем для сравнения.Скорость 100 мегабит(12.5 мегабайт). Это пиковые характеристики. При общении процессоров чере мпи обычно удается достичь 6-7
 +
МБ/сек. Латентность зависит от производителя. В среднем 70 мкс. Сейчас он уже считается слишком слабым для построения кластеров.
-
*FastEthernet. Сейчас на нем кластеры уже почти не делают, но приведем для сравнения.Скорость 100 мегабит(12.5 мегабайт). Это пиковые характеристики. При общении процессоров через MPI обычно удается достичь 6-7 МБ/сек. Латентность зависит от производителя. В среднем 70 мкс. Сейчас он уже считается слишком слабым для построения кластеров.
+
*Следующее поколение Gigabit Ethernet . Его достаточно широко используют в кластерах (125 МБайт/сек). В рамках мпая удается получить порядка 45 МБайт/сек. Латентность как правило больше, чем у фаст. В среднем 90-100 мкс, но можно получить и более низкую латентность. Часто используют в клстерах как самое дешевое решение, или ис пользуют как вспомогательную сеть, если есть высокопроизв ком среды.
 +
Специализированные ком среды:
-
*Следующее поколение Gigabit Ethernet . Его достаточно широко используют в кластерах (125 МБайт/сек). В рамках MPI удается получить порядка 45 МБайт/сек. Латентность как правило больше, чем у FastEthernet. В среднем 90-100 мкс, но можно получить и более низкую латентность. Часто используют в клаcтерах, как самое дешевое решение, или используют как вспомогательную сеть, если есть высокопроизводительные коммуникационные среды.
+
*Myrinet 2000. Пиковая пропускная сопособность 2 гигабита(250 МБ/сек). В рамках мпиая порядка 200 МБ/сек. лтентность 10 мкс. Но это уже другой уровень стоимотсти. За такую ком среду надо платить примерно столько же сколько за выч узлы.
-
==Специализированные коммуникационные среды==
+
*SCI(SCalable Coherent Intropy). Правда последнее время о ней не слышно. В отличие от остальных сетевых решений не базируется на свитчах, позволяет сохдавать двух-трехмерные торы, в ней отстутвует понятие коммутатор, вся ком ведется спец платами, вставляемые в выч узлы. Давал скорость 400 МБ/сек. И латентность 1.2 мкс. Но новых версий не выходит, поэтому популярность он потерял. ТОже дорогая технология.
-
*Myrinet 2000. Пиковая пропускная способность 2 гигабита(250 МБ/сек). В рамках MPI порядка 200 МБ/сек. Латентность 10 мкс. Но это уже другой уровень стоимости. За такую коммуникационную среду надо платить примерно столько же сколько за вычислительные узлы.
+
* Сейчас наиболее популярна Infiniband. ПОпулярна в дорогом сегменте. Изначально был рассчитан на скорость 1 ГБ/сек. Сейчас уже продают 20 ГБ/сек. К этому никто из остальных блиизко не подходит. Ведутся разработки ещё более быстрых. Латентность сначала была порядка 7 мкс, сейчас примерно 1.5 мкс.
-
*SCI(Scalable Coherent Intropy). Правда последнее время о ней не слышно. В отличие от остальных сетевых решений не базируется на свитчах, позволяет создавать двух-трехмерные торы, в ней отсутствует понятие коммутатор, вся коммутация ведется специальными платами, вставляемыми в вычислительные узлы. Давала скорость 400 МБ/сек. И латентность 1.2 мкс. Но новых версий не выходит, поэтому популярность она потеряла. Тоже дорогая технология.
+
Это красткие характер 5 основных ком технологий, используемых в кластерах. Заачстую используются несколько ком сред.
-
*Сейчас наиболее популярна Infiniband. Популярна в дорогом сегменте. Изначально была рассчитана на скорость 1 ГБ/сек. Сейчас уже продают 20 ГБ/сек. К этому никто из остальных близко не подходит. Ведутся разработки ещё более быстрых. Латентность сначала была порядка 7 мкс, сейчас примерно 1.5 мкс.
+
Есть множество других сетевых решений. Эти -- наиболее распространенный.
 +
Краткий обзорчик кластеров мы на этом закончим. И подойдем к завершению темы компов с распр памятью.
 +
На производительность влияют
-
Это краткие характеристики 5 основных коммуникационных технологий, используемых в кластерах. Зачастую используются несколько коммуникационных сред.
+
-Не забываем закон Амдала, который важен для компьютеров с распр памятью.
-
 
+
-
Есть множество других сетевых решений. Эти -- наиболее распространенные.
+
-
 
+
-
Краткий обзорчик кластеров мы на этом закончим. И подойдем к завершению темы компьютеров с распределенной памятью.
+
-
 
+
-
=Что же влияет на производительность?=
+
-
 
+
-
-Не забываем закон Амдала, который важен для компьютеров с распределенной памятью.
+
-латентность и пропускная способность
-латентность и пропускная способность
-
-возможность асинхронной посылки сообщений -- влияет на то, что процессор не простаивает, когда общается с другими процессорами.
+
-возможность асинхронно посылки сообщений - влияет на то что проц не проставивает когда общается с другими процами
-
-равномерная загрузка узлов - очень важный фактор. Надо строить задачу таким образом, что бы все процессорам, которые есть, давалась
+
-равномерная загрузка узлов - очень важный фактор. надо строить задачу таким образом, что бы все процам которые есть давалась
-
примерно одинаковое количество данных на счет, чтобы процессоры не простаивали. Это относительно легко, когда система однородная, но становится намного сложнее если система неоднородная(узлы с разной производительностью, разной памятью).
+
примерно одинаковое колво данных насчет, чтобы процессоры не проставивали. Это относительно легко, когда система однородная, но становится намного сложнее если система неоднородная(узлы с разной производительностью разной памятью)
-
Далее, если спускаться на более низкий уровень:
+
Далее, если сускаться на более низкий уровень:
-
-производительность процессора.Каждый процессор может иметь свою архитектуру.
+
-производительность процессора.Каждый проц может иметь свою архитектуру.
Строка 42: Строка 38:
-
=GRID=
+
И как крайню точку комп с распр памятью рассмотрим ещё один класс.
-
И как крайнюю точку компьютеров с распределенной памятью рассмотрим ещё один класс.
+
Если мы двигаемя от компов с общей памятью через компы с массивно параллельной пмятью, через кластеры, то крайней точкой можно рассматривать такое поянтие как мета компьютинг, когда в качестве компьютера рассмартивают компы хоть как-то умеющие друг с другом общаться(даже через интернет).Это направление очень модное, так как выч мощность такого компьютера потенциально ужасно огромна. GRID технологии.
-
Если мы двигаемся от компьютеров с общей памятью через компьютеры с массивно-параллельной памятью, через кластеры, то крайней точкой можно рассматривать такое понятие, как мета компьютинг, когда в качестве компьютера рассматривают компьютеры хоть как-то умеющие друг с другом общаться(даже через интернет).Это направление очень модное, так как вычислительная мощность такого компьютера потенциально ужасно огромна. GRID технологии.
+
-
 
+
-
==Весьма известные и распространенные проекты==
+
-
 
+
-
*PACX-MPI - расширение MPI. MPI работающий через TCP/IP. Было продемонстрировано использование 2 компьютеров(Германия-США), решающих одну задачу. Это хорошо когда в задаче выделяются большие независимые части. Расширение было разработано в конце 90 годов.
+
-
*Condar. Занимает нерабочее время корпоративных компьютеров на полезную работу. Свободно распространяемое ПО, есть реализации под различные операционные системы.
+
Весьма изщвестные и распространненые проекты:
-
==Проекты решающие конкретные прикладные задачи==
+
*PACX-MPI - расширение мпи. мпи работающий через тсп/ип. Было продемонтсрировано использование 2 компов(германия-сша) решающих одну задачу. Это хорошо когда в задаче выделяются большие независимые части. Расширение было разработано в конце 90 годов.
-
*SETI@home - всем желающим было предложено анализировать данные радиолокаторов и иаскть следы внеземных цивилизаций, но вроде ничего не нашли. Но был один из наиболее известных проектов, привлекший внимание к подобным затеям.
+
* Condarю Занимает нерабочее время корпоративных компьютеров на полезную работу. Свободно распространяемое по, есть реализации под различные оси.
 +
Проекты решающие конкретные прикладные залачи:
-
*distributed.net -- продолжается даже сейчас, решает ряд задач, в первую очередь расшифровки различных шифров.
+
*SETI@home - всем желающим было предложено нализировать данные радиолокаторов и искть следы внеземных цивилизаций, но вроде ничего не нашли. НО был один из наболее извсетных проектов, привлекший внимание к подобным затеям.
-
*GIMPS - ищут простые числа. В рамках этого проекта найдено максимальное простое число 2^13466917-1.
+
*distributed.net - продалжается даже сейчас, решает ряд задач, в первую очередь расшифровки различных шифров
-
Проектов последнее очень много, желающие могут найти информацию. Но это -- решение конкретных задач, а что делать если хочется создать более менее универсальный мета компьютер?
+
*GIMPS- ищут простые числа. В рамках этого проекта найдено максимальное простое число 2^13466917-1.
-
==Универсальные GRID==
+
Проекто последнее очень много, желающие могут найти информацию. НО это -- решение конкретных задач, а что делать если ххочется создать более менее универсальный мета компьютер?
-
Наиболее популярны:
+
Наиболее популярнs
-
*Globus. Недостаток - сложность установки и настройки. чтобы подключиться надо проделать много магических движений, что бы настроить прочитать много документации. Это является значительным недостатком.
+
*Globus недостаток - сложность установки и настройки. чтобы одключиться надо проделать много магических движений, что бы настроить прочитать много документции. Это явл значительным недостатком. Тем не менее много сетей ора
{{Параллельная Обработка Данных}}
{{Параллельная Обработка Данных}}
{{Lection-stub}}
{{Lection-stub}}

Пожалуйста, обратите внимание, что все ваши добавления могут быть отредактированы или удалены другими участниками. Если вы не хотите, чтобы кто-либо изменял ваши тексты, не помещайте их сюда.
Вы также подтверждаете, что являетесь автором вносимых дополнений, или скопировали их из источника, допускающего свободное распространение и изменение своего содержимого (см. eSyr's_wiki:Авторское право).
НЕ РАЗМЕЩАЙТЕ БЕЗ РАЗРЕШЕНИЯ ОХРАНЯЕМЫЕ АВТОРСКИМ ПРАВОМ МАТЕРИАЛЫ!


Отменить | Справка по редактированию (в новом окне)

Шаблоны, использованные на этой странице:

Получено с http://esyr.us/wiki/%D0%9F%D0%B0%D1%80%D0%B0%D0%BB%D0%BB%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%94%D0%B0%D0%BD%D0%BD%D1%8B%D1%85%2C_04_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%28%D0%BE%D1%82_25_%D1%81%D0%B5%D0%BD%D1%82%D1%8F%D0%B1%D1%80%D1%8F%29
Разделы