Суперкомпьютеры и их применение

Vulcan – Blue Gene/Q

  • Местоположение: США
  • Производительность: 4,29 петафлопс
  • Теоретический максимум производительности: 5,03 петафлопс
  • Мощность: 1,9 МВт

«Вулкан» разработан американской компанией IBM, относится к семейству Blue Gene и находится в Ливерморской национальной лаборатории имени Э. Лоуренса. Принадлежащий Министерству энергетики США суперкомпьютер состоит из 24 стоек. Функционировать кластер начал в 2013 году.

В отличие уже упомянутого CS-Storm, сфера применения «Вулкана» хорошо известна – это различные научные исследования, в том числе в области энергетики, вроде моделирования природных явлений и анализа большого количества данных.

Различные научные группы и компании могут получить доступ к суперкомпьютеру по заявке, которую нужно отправить в Центр инноваций в области высокопроизводительных вычислений (HPC Innovation Centre), базирующийся в той же Ливерморской национальной лаборатории.

Суперкомпьютер Vulcan  

2015: Запрет на вывоз из КНР супер-ПК мощностью от 8 терафлопс

В начале августа 2015 года стало известно об ограничениях, наложенных китайскими властями на экспорт суперкомпьютеров по соображениям национальной безопасности.

Как сообщает Reuters со ссылкой на государственное информационное агентство «Синьхуа», с 15 августа 2015 года из КНР будет запрещено вывозить компьютерные системы вычислительной мощностью более 8 терафлопс, которая примерно соответствует производительности четырех игровых консолей Sony PlayStation 4. Для сравнения, китайский суперкомпьютер Tianhe-2, который к августу 2015 года считается самым мощным в мире, способен обрабатывать 34 трлн операций в секунду (34 терафлопс).

В Китае запретили экспорт мощных компьютеров и высокотехнологичных дронов по соображениям национальной безопасности

Компании, поставляющие мощные компьютеры за рубеж, должны будут получать специальные лицензии, в которых прописаны новые требования к экспортируемому оборудованию.

Ограничения на вывоз вычислительных решений в Китае последовали после того, как США наложили ряд запретов на использование китайских ИТ-продуктов американскими компаниями. Кроме того, в апреле 2015 года власти США ввели эмбарго на поставки технологий Intel китайским фирмам, обеспечивающим работу Tianhe-2.

Помимо суперкомпьютеров, в Китае запретили экспорт беспилотных летательных аппаратов. С середины августа 2015 года из Поднебесной нельзя будет вывозить дронов, способных в условиях порывистого ветра подниматься на высоту более 15 тыс. метров и летать более одного часа. Это не касается потребительских беспилотников, имеющих невысокую дальность полета.

В Китае опасаются, что управляемые дистанционно высокотехнологичные летательные аппараты попадут в руки террористов. Еще одной причиной ограничения вывоза дронов является защита прав на интеллектуальную собственность.

По мнению аналитика Forrester Research Гэнэ Цао (Gene Cao), запрет на экспорт суперкомпьютеров подтверждает мировое лидерство Китая в производстве этого вида вычислительной техники и имеет большое значение для отрасли.

8.

Tianhe-2 (Китай) — 390 млн долларов
Китайский Tianhe-2 (что переводится как «Млечный Путь — 2») является самым быстрым суперкомпьютером в мире. Компьютер, разработанный командой из 1300 ученых и инженеров, находится в Национальном суперкомпьютерном центре в Гуанчжоу. Он был построен китайским Оборонным научно-техническим университетом Народно-освободительной армии Китая. Tianhe-2 способен выполнять 33 860 триллионов вычислений в секунду. К примеру, один час расчетов суперкомпьютера эквивалентен 1000 годам работы 1,3 миллиарда человек. Используется машина для моделирования и анализа правительственных систем безопасности.

K Computer

  • Местоположение: Япония
  • Производительность: 10,51 петафлопс
  • Теоретический максимум производительности: 11,28 петафлопс
  • Мощность: 12,6 МВт

Разработанный компанией  Fujitsu и расположенный в Институте физико-химических исследований в городе Кобе, K Сomputer является единственным японским суперкомпьютером, присутствующим в первой десятке Top-500.

В свое время (июнь 2011) этот кластер занял в рейтинге первую позицию, на один год став самым производительным компьютером в мире. А в ноябре 2011 года K Computer стал первым в истории, которому удалось достичь мощности выше 10 петафлопс.

Суперкомпьютер используется в ряде исследовательских задач. К примеру, для прогнозирования природных бедствий (что актуально для Японии из-за повышенной сейсмической активности региона и высокой уязвимости страны в случае цунами) и компьютерного моделирования в области медицины.

Суперкомпьютер K  

Тяньхэ-2

Суперкомпьютер Tianhe-2 («Млечный путь»), а, точнее, уже дополненная и модернизированная версия 2А, была разработана сотрудниками компании Inspur и научно-технического университета Народно-освободительной армии Китая. В июле 2013 года модель считалась самой производительной в мире и уступила пальму первенства только другому китайскому компьютеру TaihuLight. На сборку ЭВМ потратили около 200 млн долларов.

Сначала вычислительная система находилась на территории университета, а затем была перемещена в суперкомпьютерный центр в Гуанчжоу. Общая площадь, которую она занимает – около 720 кв. м. Энергопотребление модели составляет 17,8 МВт, что делает ее использование менее выгодным по сравнению с более современными версиями.

Техника построена на базе 80 тысяч ЦПУ Intel Xeon и Xeon Phi. Объем оперативной памяти – 1400 Гбайт, количество вычислительных ядер – больше 3 миллионов. На суперкомпьютере установлена операционная система Kylin Linux. Первые показатели работы системы – 33,8 Пфлопс, современная модификация достигает скорости вычислений 61,4 Пфлопс, максимальная – 100,679 Пфлопс.

СуперЭВМ создали по требованию китайского правительства, его основными задачами являются расчеты для проектов национального масштаба. С помощью системы решаются вопросы безопасности Китая, выполняется моделирование и анализ большого количества научной информации.

2018: Быстрый рост производительности суперкомпьютеров в рейтинге

Согласно данным свежей 28 редакции (весна 2018 года) списка Топ-50 самых мощных компьютеров СНГ, представленной НИВЦ МГУ имени М.В.Ломоносова и МСЦ РАН в рамках Международной научной конференции «Параллельные вычислительные технологии (ПаВТ) 2018», наметился заметный рост производительности входящих в список систем.

Суммарная производительность систем из списка Топ-50 на тесте Linpack за полгода выросла с 8,7 ПФЛОПС (квадриллионов (1015) операций с плавающей точкой в секунду) до 10,7 ПФЛОПС. Суммарная пиковая производительность систем списка при этом достигла 17,4 ПФЛОПС, хотя еще полгода назад в предыдущей редакции списка она составляла только 13,4 ПФЛОПС.

Всего за полгода, прошедшие с публикации предыдущего рейтинга Топ-50, список пополнился девятью совершенно новыми суперкомпьютерами, и семь систем из списка прошли масштабное обновление. Эти показатели, по данным составителей Топ-50, являются рекордом за последние шесть лет.

Заявок на вхождение в рейтинг было больше, но не все системы преодолели нижний порог производительности: для вхождения в нынешнюю редакцию Топ-50 потребовалась производительность на тесте Linpack не менее 42,6 ТФЛОПС против 38,1 ТФЛОПС в предыдущей редакции.

Составители рейтинга отмечают, что основные изменения в последней редакции Топ-50 пришлись не на лидеров списка, но на системы с производительностью 50-70 ТФЛОПС. Это говорит о том, что суперкомпьютер в России стал достаточно массовым явлением, и его производительность закладывается не ради рекордов, но уже с учетом потребностей и финансовых возможностей заказчика.

Российская наука и образование остались главными потребителями суперкомпьютерных мощностей, на них, как и в прежней редакции, пришлось 18 систем из рейтинга. Количество систем для конкретных прикладных исследований уменьшилось с 16 до 14. Число систем HPC в промышленности также несколько сократилось – с пяти до четырех; число систем в финансовой области осталось равным трем.

По количеству систем, входящих в список, лидером осталась компания Hewlett-Packard Enterprise — 13 систем, как и в прошлой редакции. За ней следует группа компаний РСК с 12 системами, добавившая за полгода в рейтинг еще один свой суперкомпьютер. Тройку лидеров замыкает компания «Т-Платформы» с 11 системами против семи систем в прошлой редакции. На четвертом месте разместилась IBM с пятью системами (семь в прошлом рейтинге). Впервые в списке появились четыре системы, в качестве производителя которых значится Nvidia.

Программное обеспечение суперкомпьютеров

Наиболее распространёнными программными средствами суперкомпьютеров, так же, как и параллельных или распределённых компьютерных систем, являются интерфейсы программирования приложений (API) на основе MPI и PVM, и решения на базе открытого программного обеспечения, наподобие Beowulf и openMosix, позволяющего создавать виртуальные суперкомпьютеры даже на базе обыкновенных рабочих станций и персональных компьютеров. Для быстрого подключения новых вычислительных узлов в состав узкоспециализированных кластеров применяются технологии наподобие ZeroConf. Примером может служить реализация рендеринга в программном обеспечении Shake, распространяемом компанией Apple. Для объединения ресурсов компьютеров, выполняющих программу Shake, достаточно разместить их в общем сегменте локальной вычислительной сети.

В настоящее время границы между суперкомпьютерным и общеупотребимым программным обеспечением сильно размыты и продолжают размываться ещё более вместе с проникновением технологий параллелизации и многоядерности в процессорные устройства персональных компьютеров и рабочих станций. Исключительно суперкомпьютерным программным обеспечением сегодня можно назвать лишь специализированные программные средства для управления и мониторинга конкретных типов компьютеров, а также уникальные программные среды, создаваемые в вычислительных центрах под «собственные», уникальные конфигурации суперкомпьютерных систем.

10 самых мощных суперкомпьютеров в мире

После того, как мы рассказали вам о невероятных технических характеристиках этого типа оборудования, мы не могли бы закончить, не сказав вам, какие самые мощные суперкомпьютеры были изготовлены.

Шахин II

Он был построен Cry.Inc совместно с Университетом науки и технологии короля Абдаллы, который сейчас является его владельцем. Он используется с 2015 года на этих объектах.

С ОС Linux, Cray, невозможно не удивиться, узнав, что в его процессоре почти 200 000 ядер , что, кстати, является Xeon E5-2698v3 16C . Это означает выход 5537 TFLOP/с. Еще более удивительным является знание вашей потребности в энергии, которая составляет «всего» 2800 кВт.

Хейзел Курица

Cray.Inc отвечает за проектирование и производство в 2015 году Hazel Hen, суперкомпьютера на 41 кабину с Xeon E5-2680v3 12C с ядрами 185088 . Его производительность составляет 7,42 PetaFLOPS/s . Операционная система такая же, как и в предыдущем случае. В этом случае мы должны, хотя средняя мощность неизвестна, она достаточно эффективна, с максимальной известной величиной в 1512 кВт.

Piz Daint

Cray.Inc также несет ответственность за это производство, которое идет напрямую в Швейцарию, где оно находится с 2013 года, в частности в Национальном суперкомпьютерном центре. Сегодня лучший суперкомпьютер на континенте .

Это достигается благодаря процессору Xeon E5-2670 8C , работающему на частоте 2,6 ГГц и ядру 115984 , его 28 кабинам и теоретической производительности 7,8 петаFLOPS, которые мы видели который в процессе удваивается, достигнув уже 19,6 петаФЛОПС . Мы повторяем ТАК.

Троица

Он используется министерством энергетики США. UU., Национальное управление по ядерной безопасности и Лос-Аламосская национальная лаборатория, где оно в настоящее время находится.

Мы повторяем информацию о производителе и операционной системе и обнаруживаем Xeon E5-2698v3 16C с частотой 2,3 ГГц, который включает в себя более 380000 ядер . Достигнутая им обработка превышает 27000 теоретических TFLOPS/s . Его память составляет 365056 ГБ.

Тяньхэ-2

Мы нашли его в Китае, в суперкомпьютерном центре. Его производителем был NUDT, который начал работать в Гуанчжоу в 2013 году.

Его операционная система-Kylin Linux, процессор- Intel Xeon E5-2692v2 12C с частотой 2,2 ГГц и 3,12 миллиона ядер . Таким образом, он способен давать 33,86 тФлоп/с , работая при 17808 кВт.

Sunway TaihuLight

Мы закончили список с другим суперкомпьютером, расположенным в Китае, в Центре суперкомпьютеров в Уси. Производство в этом случае произошло из рук NRCPC и начало функционировать совсем недавно, в 2016 году.

Его операционная система является эксклюзивной, Sunway RaiseOS 2.0.5, которая основана на Linux. У него более 10 миллионов ядер в процессоре Sunway SW26010 260C с тактовой частотой 1,45 ГГц. Мы получаем производительность 93 TFlops при 15371 кВт.

K компьютер

Еще одна замечательная машина, на этот раз японская, которая работает с SPARC64 VIIIfx на частоте 2 ГГц с 700 000 ядер . Производительность, которую он предлагает, достигает 10,5 TFLOP в секунду . В свою очередь, выходная мощность составляет 12659 кВт. ОС Linux. У нас это есть в Центре передовых компьютерных наук RIKEN.

Sequoia

IBM отвечала за производство этого устройства в 2012 году, специально для Национальной администрации ядерной безопасности США, находящейся в Ливерморской национальной лаборатории им. Лоуренса.

Его процессор представляет собой Power BQC 16C с миллионом с половиной ядер , а также производительность более чем 17 TFlop/s . Работа с линуксом Его потребляемая мощность составляет 7890 кВт.

Титан

Он дает скорость 17,59 петафлопс благодаря своему Opteron 6274 16C с частотой 2,2 ГГц более полумиллиона ядер . Он имеет Cray Linux Enviroment и графический процессор Nvidia. Завод Cray.Inc находится в Национальной лаборатории Ок-Риджем в США.

Look

Завод IBM в 2012 году и с тех пор находится в Аргоннской национальной лаборатории. В данном случае процессор представляет собой Power BQC 16C с почти 800 000 ядер . Производительность превышает 8586 TFLOPS/с каждую секунду. Он имеет Linux и работает на 3945 кВт.

ТОП-5 лучших игровых компьютеров до 30 000 рублей

Итак, самые дешевые варианты были рассмотрены выше. Теперь будет представлен обзор пяти лучших компьютеров, которые можно приобрести дешевле 30 000 рублей.

CompDay №3872

Первый в списке оказался довольно мощным настольным компьютером с процессором и материнской платой от Intel. Также он наделен довольно-таки мощной дискретной видеокартой DDR5 и оперативной памятью DDR4. Благодаря таким параметрам, его по желанию легко модернизировать другими комплектующими этих поколений. Характеристики модели позволят запустить довольно-таки мощные современные игры, хотя некоторые из них будут на минимальных требованиях. Устройство обладает очень маленькими размерами.

Плюсы:

  • небольшие размеры;
  • стильный дизайн корпуса;
  • довольно-таки мощные характеристики;
  • дискретная видеокарта.

Минусы:

  • двухядерный процессор;
  • небольшой жесткий диск – 500 ГБ.

CompDay №3872

Показатель Значение
Процессор 2х3,5 ГГц
Видеокарта GeForce GTX 1050 1354Mhz PCI-E 3.0 2048Mb DDR 5
ОЗУ 4 ГБ DDR 4
Охлаждение Воздушное
Блок питания 450 Вт
Корпус Accord A-30B

Brand Star H1006941

Очень мощный для своей цены настольный компьютер, который превосходит предыдущий вариант практически во всем. Он наделен отличным 4-ядерным процессором от AMD, 2 Гб дискретной видеокарты NVidia и 8 Гб оперативной памяти DDR4. По всей вероятности, этот компьютер отлично подойдет практически для любой современной игры.

Плюсы:

  • отличный дизайн корпуса;
  • небольшие размеры и вес;
  • очень хорошие характеристики для такой цены;
  • SSD.

Минусы:

  • небольшие размеры твердотельного накопителя 120 ГБ;
  • отсутствует жесткий диск.

Brand Star H1006941

Показатель Значение
Процессор AMD Ryzen 3 1200 4х3,1 ГГц
Видеокарта nVidia GT 1030 2Gb
ОЗУ DDR4 8GB PC-17000 2133MHz
Охлаждение Воздушное
Блок питания 500 Вт
Корпус 3Cott Paladin II ATX black

GN3339774

Довольно-таки неплохой игровой компьютер с хорошим процессором Intel, оперативной памятью 4-го поколения и дискретной видеокартой 5-го поколения. Но в комплектации полностью отсутствуют какие либо накопители, так что докупать их придется самостоятельно. Установить можно как жесткий диск, так и твердотельный накопитель. Компьютер отлично подойдет как для офисной работы, так и для слабых и средних по требовательности игр.

Плюсы:

  • небольшие размеры;
  • отличный дизайн корпуса;
  • неплохие характеристики.

Минусы:

  • полностью отсутствуют накопители;
  • довольно-таки высокая стоимость для такой комплектации.

GN3339774

Показатель Значение
Процессор Pentium G5400 2х3,7 ГГц
Видеокарта NVIDIA GTX 1050 2GB
ОЗУ DDR4 4GB 2133MHz
Охлаждение Воздушное
Блок питания 500 Вт
Корпус AEROCOOL CYLON

RG-051

Очень мощный настольный компьютер, который способен запустить практически любую игру. При этом он обладает довольно-таки низкой стоимостью. Здесь присутствует мощный 4-ядерный процессор, оперативная память 4-го поколения, дискретная видеокарта 5-го поколения, жесткий диск на 1 ТБ с дополнительной возможностью твердотельного или гибридного накопителя. Сам корпус также источает скорость и мощность, что понравится каждому любителю игр.

Плюсы:

  • мощные характеристики;
  • небольшие размеры;
  • отличная цена;
  • большой HHD;
  • возможность установки SSD и SSHD.

Минусы: самая высокая стоимость из выше представленных.

RG-051

Показатель Значение
Процессор AMD FX-4300 4х3,8 ГГц
Видеокарта Nvidia GeForce GTX 1050 2Gb GDDR5 128Bit
ОЗУ 8 Gb DDR3 1600MHz
Охлаждение Воздушное
Блок питания 500 Вт
Корпус ATX MidiTower

RG-046

Самый мощный и дорогой из представленных здесь настольных компьютеров. Его характеристик вполне хватит для запуска мощных игр на минимальных требованиях. Он наделен мощным процессором, качественной видеокартой NVIDIA, достаточным объемом оперативной памяти и огромным жестким диском на 1 ТБ с дополнительными слотами под SSD и SSHD. Единственным минусом можно считать лишь отсутствие DWD привода. Но это мизерный недостаток.

Плюсы:

  • мощные характеристики;
  • большой жесткий диск;
  • дополнительные слоты под твердый и гибридный диски.
  • отличный дизайн корпуса;
  • небольшие размеры.

Минус: нет DWD привода.

RG-046

Показатель Значение
Процессор AMD FX-6300 6х3,5 ГГц
Видеокарта Nvidia GeForce GTX 1050Ti 4Gb GDDR5 128Bit
ОЗУ 8 Gb DDR3 1600MHz
Охлаждение Воздушное
Блок питания 500 Вт
Корпус ATX MidiTower

Гордость нации

Суперкомпьютеры – это не только неоценимая помощь для науки, но и предмет национальной гордости. Наравне с космической гонкой и гонкой вооружений ведется негласная война за звание ведущей суперкомпьютерной державы. Так, на территории США находится 252 из полтысячи мощнейших вычислительных систем мира. Китай владеет 66 мощнейшими суперкомпьютерами, Япония – 30, Великобритания – 29, Франция – 23, Германия – 19, а Индия – 11.

Процентное соотношение количества и производительности суперкомпьютеров в разных странах мира

А вот Украина в рейтинге TOP500, к величайшему сожалению, не представлена. Мощнейший отечественный суперкомпьютер, размещенный в НТУУ «Киевский политехнический институт», по производительности не дотягивает даже до нижней границы TOP500. Ему явно не помешала бы модернизация.

Для сравнения, у наших соседей – России и Польши – в рейтинг TOP500 попали восемь и три суперкомпьютера соответственно. Мощнейший Российский суперкомп T-Platforms T-Blade 2 с кодовым именем Lomonosov (31 место в рейтинге, производительность 901,9 TFLOPS) установлен в Научно-исследовательском вычислительном центре МГУ.

Флагманский российский суперкомпьютер назван в честь ученого-естествоиспытателя Михаила Ломоносова

Польский же вычислительный монстр Cluster Platform SL390, также известный под именем Zeus (113 место в рейтинге, производительность 266,9 TFLOPS), работает в Академическом компьютерном центре Cyfronet в городе Краков.

Что ждет суперкомпьютеры в будущем?

Удивительный факт: ваш смартфон работает так же быстро, как суперкомпьютер в 1994 году — у него была тысяча процессоров и он моделировал испытания ядерного оружия. Таким образом, теоретически примерно через четверть века смартфоны смогут достичь уровня Aurora. 

Не исключено, что в будущем симуляции на суперкомпьютерах отойдут на второй план. «В частности, в течение следующих полутора десятилетий машинное обучение может стать доминирующим в большинстве компьютерных наук, включая высокопроизводительные расчеты (и даже аналитику данных). Хотя сегодня оно в основном используется в качестве вспомогательного инструмента в традиционных вычислениях, в некоторых случаях, например при разработке лекарств, оно вполне может заменить симуляцию», — говорит исследователь Майкл Фельдман.

Какую бы форму ни приняли суперкомпьютеры, в Аргоннской национальной лаборатории уверены, что они будут становиться все более мощными и начнут влиять на все — от разработки более эффективных аккумуляторов для электромобилей до искоренения таких серьезных болезней, как рак.

9.

Earth Simulator (Япония) — 500 млн долларов
«Симулятор Земли» был разработан японским правительством еще в 1997 году. Стоимость проекта составляет 60 млрд иен, или примерно 500 млн долларов. Earth Simulator был завершен в 2002 году для агентства аэрокосмических исследований Японии, Японского научно-исследовательского института по атомной энергии и Японского центра морских и наземных исследований и технологий.
ES был самым быстрым суперкомпьютером в мире с 2002 по 2004 год, а служит он и поныне для работы с глобальными климатическими моделями, для оценки последствий глобального потепления и оценки проблем геофизики коры Земли.

Аэродинамические ячейки в один микрон

— Про точность моделей: на каком уровне можно и остановиться? Грубо говоря, когда описываем, как шарик катится по плоскости, нет смысла переходить на атомный уровень. Существуют какие-то разумные пределы детализации?

— Безусловно. В нашей области сейчас точности моделей обусловлены теми экспериментальными данными, с которыми мы их сравниваемся. И, если мы понимаем, что простая модель не удовлетворяет требованиям по точности достоверному эксперименту, – а эксперимент обязательно должен быть достоверным, в противном случае сравнение бессмысленно, – мы повышаем точность различными способами: например, используем другую физическую модель, прошедшую всестороннюю валидацию. На базе суперкомпьютерных технологий мы можем построить дискретную модель большой размерности. Такими постепенными шагами мы подбираем рациональное сочетание настроек и состав расчетной модели, чтобы она максимально адекватно описывала все происходящее и давала максимальный эффект за приемлемое время расчета.

— Что может дать более подробная модель, например, в аэродинамике?

— Она дает качественное решение во всех точках исследуемого пространства. Это дает возможность инженеру получить более богатую информацию для анализа, чем в натурном эксперименте. Например, для аэродинамики мы строим сетки такого размера, что, например, толщина первой ячейки – несколько микрон, а общий объем дискретной модели доходит до сотен миллионов ячеек. Можно и больше, но пока мы не располагаем достаточными вычислительными ресурсами для сеток миллиардного и более количества ячеек. Это уже ближайшее будущее, к которому мы стремимся.

Модель обтекания самолета при полете на крейсерском режиме

Суперкомпьютеры будущего

В последнем рейтинге за ноябрь 2018 года первые места занимают суперкомпьютеры США, Китая, Японии и Швейцарии. На данный момент Германия занята разработкой лучшего суперкомпьютера будущего. Сейчас самый мощный немецкий суперкомпьютер – Juwels занимает только 23 место в рейтинге. Чтобы новый немецкий суперкомпьютер попало в десятку рейтинга, он должно производить скорость вычисления не менее 14 петафлопс.

Следующая цель мировых ученых – сверхмощные суперкомпьютеры с производительностью в экзафлопсах. Сейчас это только гипотетические суперустройства, так как один экзафлопс равен производительности в тысячу петафлопс. Построение таких вычислительных машин супер класса станет прорывом в компьютерной инженерии. Над разработкой экзафлопсных систем работают лучшие умы современности еще с 2012 года. Вероятней всего создание суперкомпьютера класса exaFLOPS придется не ранее чем на 2020 год.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Adblock
detector