Друк

[Гість]

Ласкаво просимо, Гість. Будь ласка, увійдіть або зареєструйтеся.
14 Червня 2025, 14:34:46

1 година 1 день 1 тиждень 1 місяць Назавжди

Увійти

[Новини]

•    Новини
•      Астрономія
•      Астрозаходи
•    Життя клуба
•      Новини
•      Проекти
•      Заходи
•      Звіти про спостереження
•      Документи
•    Статті
•      Обладнання та телескопи
•      Спостереження
•      Астрофотографія
•      Астрософт
•      Астрономія в Україні
•      Астрономи шуткують
•      Інше
•     
•      Файловий архів

Наш канал

Наші сайти

Астро-сайти

Програми

Наш канал

Наші сайти

Астро-сайти

Програми

[M_M]

Решил и свой SSD проверить. ... Всё равно SSD диск не заменит нормальную оперативку.

Судя по результатам проверки, чукча SSD более писатель чем читатель 

Где начало того конца, которым оканчивается начало? Что делать, когда окажется, что 256 гБ памяти мало? Потребность в большом к-ве оперативки часто говорит о системной проблеме используемого алгоритма. Очень редко нужно огромное количество памяти, поскольку редко нужно иметь весь массив данных в ОЗУ одновременно. Многопроцессорность/многопоточность - более важный параметр для обработки.

[Zlata]

В спецификации материнской платы: http://www.asus.com/ua/Motherboards/P9X79_WS/

ASUS SSD Caching

Ускорение дисковой подсистемы одним щелчком мыши
Одним из способов ускорения дисковой подсистемы компьютера является использование твердотельного диска в качестве кэша для основного жесткого диска. Технология ASUS SSD Caching позволяет сделать это одним щелчком мыши, даже не перегружая компьютер. Кроме того, эта технология включает инструменты создания резервных копий данных. Тесты показывают, что гибридная дисковая подсистема оказывается до трех раз более быстрой, чем обычная.

Думаю, что SSD будет долго жить.

[M_M]

Ну и еще один вариант, который был раньше весьма популярен, а именно - физический RAM диск. Для свопа долговременное хранение не актуально.

[Олег Малий]

возможно, как вариант, стоит рассмотреть установку рэйда. это выйдет несколько дороже, чем ССД-винт, но ресурс жизни рэйда выше, а самое главное, плюсы скорости и надежности рэйда распространяются на все данные, а не только на своп. в конечном итоге, ограничивать пропускную способность будет уже не дисковая система, а то, к чему она подключена.

Операционная система установлена на 500Гб диске (7200 об/мин), на нём и файл подкачки.

RAID0 я сложил с двух 2Тб винчестеров (7200 об/м) - это ускорило обработку данных (на RAID0 я помещаю данные для обработки, т.е. программа работает именно на RAID0).
Планирую сделать RAID0 с четырёх винчестеров по 2Тб, потому как для создания больших мозаик (которые из 14-15 тысяч отдельных фрагментов), нужно около 4Тб дискового пространства для трёх каналов цвета (R,V и B).

Данные хранятся на ещё одном винчестере 2Тб., который служит складом.

RAID0 используется только в роли рабочей площадки:
1. загрузил данные для обработки.
2. обработал, получил результат, сохранил его на складе.
3. удалил с RAID0 исходные данные, промежуточные результаты и результат обработки.

[Олег Малий]

Копайте в другом направлении. Софт, который делает обработку, умеет распараллеливать процессы? Если да, и это норм реализовано - Вам нужна серверная мать под 2 процессора, ксеоны с хорошим кешем скорее всего решат эту проблему и без наращивания ОЗУ.

Софт позволяет производить многопотоковую обработку.
Вот этот софт http://www.astro.uni-bonn.de/theli/gui/index.html

По поводу более мощного компьютера с материнкой на два процессора - над этим я думаю, но сперва хочу проапгрейдить текущий компьютер.

[Олег Малий]

В спецификации материнской платы: http://www.asus.com/ua/Motherboards/P9X79_WS/

ASUS SSD Caching

Ускорение дисковой подсистемы одним щелчком мыши
Одним из способов ускорения дисковой подсистемы компьютера является использование твердотельного диска в качестве кэша для основного жесткого диска. Технология ASUS SSD Caching позволяет сделать это одним щелчком мыши, даже не перегружая компьютер. Кроме того, эта технология включает инструменты создания резервных копий данных. Тесты показывают, что гибридная дисковая подсистема оказывается до трех раз более быстрой, чем обычная.

Думаю, что SSD будет долго жить.

Технология ASUS SSD Caching она ж только под ОС Windows, если я не ошибаюсь.
А мой рабочий софт существует только под ОС семейства Linux, где он собирается и устанавливается только с исходного кода (нет готовых установочных файлов).

Касательно SSD кеширования под Линукс, я знаю три таких системы:
1. flashcache, которая используется на серверах Facebook: с 2011 года её код стал свободно доступным http://habrahabr.ru/post/149655/
2. bcache http://bcache.evilpiepirate.org/
3. dm-cache http://en.wikipedia.org/wiki/Dm-cache

[Олег Малий]

Решил и свой SSD проверить. ... Всё равно SSD диск не заменит нормальную оперативку.

Судя по результатам проверки, чукча SSD более писатель чем читатель 

Где начало того конца, которым оканчивается начало? Что делать, когда окажется, что 256 гБ памяти мало? Потребность в большом к-ве оперативки часто говорит о системной проблеме используемого алгоритма. Очень редко нужно огромное количество памяти, поскольку редко нужно иметь весь массив данных в ОЗУ одновременно. Многопроцессорность/многопоточность - более важный параметр для обработки.

Для интереса, запускаю операцию с разным числом потоков обработки:
1. один поток потребляет максимум около 10 Гб памяти.
2. два потока потребляют максимум около 17 Гб памяти.
3. четыре потока потребляют максимум около 34 Гб памяти.
4. шесть потоков потребляют максимум около 50 Гб памяти.
5. восемь потоков потребляют максимум около 60 Гб памяти, т.е. почти всю память.

А процессор имеет 6 ядер или 12 потоков.

Лезет в голову одна мысль: поскольку обработка ведётся на RAID0, скорость записи/чтения которого около 300 Мб/с, то он просто не успевает читать/писать, а поэтому обработанная информация ждёт в памяти свою очередь, пока RAID0 её соизволит записать.

Иначе говоря, медлительность RAID0 отнимает часть оперативной памяти.

[mak]

Да, похоже, что рэйды на HDD для скоростных систем таки уже, можно сказать, ушли в прошлое.
На фоне SSDPEDMD400G401 они смотрятся крайне печально...

[Олег Малий]

Вот мои тесты сравнения скорости этапов обработки для RAID0 и более старого 2Тб винчестера:

[Олег Малий]

В тестах выше, процессор и память те же, а вот в роли рабочей площадки выступает RAID0 из двух 2Тб винчестеров (по 7200 об/м) и один более старый винчестер на 2 Тб (5900 об/м).

При использовании RAID0, на операции ушло 2440 с, в то время как они заняли 5055 с при использовании одиночного винчестера.

[AlexCherny]

В тестах выше, процессор и память те же, а вот в роли рабочей площадки выступает RAID0 из двух 2Тб винчестеров (по 7200 об/м) и один более старый винчестер на 2 Тб (5900 об/м).

При использовании RAID0, на операции ушло 2440 с, в то время как они заняли 5055 с при использовании одиночного винчестера.

Работа с Raid0 - абсолютно неправильный подход, даже если комп защищён мощным UPS'ом на полчаса работы. Raid0 быстрее других рейдов, но это рулетка (по времени) всегда с печальным концом. Если уже пытаться сделать быстрый Raid, то только на серверных винтах (со скоростью 10к или 15к) и аппаратным рейдом от Адаптек 7го поколения с SSD на этом рейде.
Или новая материнка с двумя мощными многопотоковыми процессорами.
Кстати, разработчики софта наверняка знают, как ускорить его работу. И тестируют свой софт на мощных компах.

[Олег Малий]

Тот софт, что я на нём работаю, основан на базе ряда консольных утилит http://www.astromatic.net/software

Разработчики рекомендуют именно собирать программу с исходных кодов, поскольку так она будет максимально оптимизированной под компьютерное железо.

На данный момент, я решил создать RAID0 из шести "чёрных" WD SE 1TB WD1002F9YZ (3,5'' SATA III 7200rpm 128MB bulk).
Цена вопроса примерно 450 евро.

[LifeIsGood]

Работа с Raid0 - абсолютно неправильный подход, даже если комп защищён мощным UPS'ом на полчаса работы. Raid0 быстрее других рейдов, но это рулетка (по времени) всегда с печальным концом.

Если использовать такой рейд только как временное хранилище данных на время их обработки, то почему бы и нет? В худшем случае теряется работа предыдущей серии, т.е., я так понимаю, от силы несколько часов.

[Олег Малий]

В случае разрушения целостности RAID0, бесперебойник никак не поможет.
А случае пропадания питания компьютера, пропадут только результаты работы текущей операции, которую после можно будет запустить повторно.

[AlexCherny]

Если использовать такой рейд только как временное хранилище данных на время их обработки, то почему бы и нет? В худшем случае теряется работа предыдущей серии, т.е., я так понимаю, от силы несколько часов.

После сбоя рейда0 возникают проблемы и вопросы типа "Случайно сбойнуло?", "Не умирает ли какой-то из винтов?", "Когда следующий сбой?". Плюс полная проверка всех винтов, входящих в Рейд0. На ixbt.com масса инфы от профессионалов - по домашним и не только рейдам.
Олег, узнай у разработчиков софта условия максимально быстрой обработки данных. Выбери из этих условий самые дорогие, которые мешают быстрому внедрению. Проанализируй свои возможности и свои задачи. Если разработчики рекомендуют использовать SSD для свопа - выбери самый быстрый на удвоенный размер оперативной памяти.

Подякували

1 :Олег Малий

[Олег Малий]

Выше на странице есть скрин моего тестирования скорости работы RAID0 из двух 2Тб винчестеров (по 7200 об/м): средние скорости записи и чтения около 300 Мб/с.
По идее, скорости записи и чтения для RAID0 из шести 1Тб винчестеров (по 7200 об/м) должны быть на уровне 900 Мб/с.

[Konstantin]

Мой опыт эксплуотации нагруженных серверов:
свопы на скоростных RAID-ах, построенных на HDD или SSD носителях, для кардинального решения вопроса нехватки ОЗУ не подходят. Это своего рода разминка для ума, чтоб доказать себе, что да, работает, даже чуть быстрее, но вопрос все так же не решен! Если память не хватает, то увы, все банально - меняем мать (если болше не поддерживает), и докупаем ОЗУ. Время и финансы потраченные на эксперименты со свопами, того не стоят.
Существующая железяка пока работает, и слава богу. Рядом стройте новую!

[Олег Малий]

Мой опыт эксплуотации нагруженных серверов:
свопы на скоростных RAID-ах, построенных на HDD или SSD носителях, для кардинального решения вопроса нехватки ОЗУ не подходят. Это своего рода разминка для ума, чтоб доказать себе, что да, работает, даже чуть быстрее, но вопрос все так же не решен! Если память не хватает, то увы, все банально - меняем мать (если болше не поддерживает), и докупаем ОЗУ. Время и финансы потраченные на эксперименты со свопами, того не стоят.
Существующая железяка пока работает, и слава богу. Рядом стройте новую!

В ответе #26 я написал следующее:

Для интереса, запускаю операцию с разным числом потоков обработки:
1. один поток потребляет максимум около 10 Гб памяти.
2. два потока потребляют максимум около 17 Гб памяти.
3. четыре потока потребляют максимум около 34 Гб памяти.
4. шесть потоков потребляют максимум около 50 Гб памяти.
5. восемь потоков потребляют максимум около 60 Гб памяти, т.е. почти всю память.

А процессор имеет 6 ядер или 12 потоков.

Лезет в голову одна мысль: поскольку обработка ведётся на RAID0, скорость записи/чтения которого около 300 Мб/с, то он просто не успевает читать/писать, а поэтому обработанная информация ждёт в памяти свою очередь, пока RAID0 её соизволит записать.

Если я не ошибаюсь с этим выводом, то добавление оперативной памяти - это не есть корретным решением данной проблемы.
Допустим, что я куплю иную материнку и поставлю на неё 128 Гб оперативки, но оставлю прежний RAID0 с его скоростями записи/чтения около 300 Мб/с.
Ну, хорошо... Ну будут те 128 Гб оперативки также загружены на 80-100 ГБ, а то и полностью, потому как скорость записи/чтения файлов в рабочие директории, которые на медленном RAID0, останется прежней.

Иначе говоря: очередь на запись/чтение станет в два раза шире, а "дверь" (канал записи/чтения на RAID0) останется прежней ширины (пропускной способности).

[Олег Малий]

Мой рабочий компьютер построен на базе материнской платы ASUS P9X79 WS, которая на момент её выпуска поддерживала максимум 64 Гб оперативной памяти.

Весьма недавно ASUS добавила поддержку 128 Гб оперативной памяти на материнских платах с чипсетом X79 http://oclab.ru/news/asus-dobavila-podderzhku-128-gb-operativnoy-pamyati-na-materinskih-platah-s-chipsetom-x79

Но, узкое место в моём компьютере - это не память и не файл подкачки, а таки медленный RAID0 с его скоростями записи/чтения около 300 Мб/с, из-за чего часть памяти тупо уходит на хранение данных, ждущих свою очередь на запись в рабочие директории.

[Konstantin]

На практике с проблеммой недостаточной пропускной способности интерфейса дисковой подсистемы я не сталкивался.
Предлагаю тест: уменьшить ОЗУ в 2 раза, и посмотреть на загрузку канала. Если она уменьшиться в число раз, сопостовимое с '2', тогда проблемма действительно в скорости интерфейса.
Что-то мне подсказывает, что здесь могут быть неоднозночности.