Київський клуб аматорів астрономії "Астрополіс"

astromagazin.net
* *
Ласкаво просимо, Гість. Будь ласка, увійдіть або зареєструйтеся.
10 Червня 2025, 17:11:19

Увійти

google


Автор Тема: Можно ли применить SSD для подкачки памяти?  (Прочитано 3631 раз)

0 Користувачів і 1 Гість дивляться цю тему.

M_M

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 5068
  • Подяк: 1094
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #20 : 01 Грудня 2014, 23:10:12 »
. - .

Решил и свой SSD проверить. ... Всё равно SSD диск не заменит нормальную оперативку.
Судя по результатам проверки, чукча SSD более писатель чем читатель  :hz:

Где начало того конца, которым оканчивается начало? Что делать, когда окажется, что 256 гБ памяти мало? Потребность в большом к-ве оперативки часто говорит о системной проблеме используемого алгоритма. Очень редко нужно огромное количество памяти, поскольку редко нужно иметь весь массив данных в ОЗУ одновременно. Многопроцессорность/многопоточность - более важный параметр для обработки.
Записаний

Zlata

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 634
  • Подяк: 285
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #21 : 01 Грудня 2014, 23:22:29 »
. - .

В спецификации материнской платы: http://www.asus.com/ua/Motherboards/P9X79_WS/

ASUS SSD Caching

Ускорение дисковой подсистемы одним щелчком мыши
Одним из способов ускорения дисковой подсистемы компьютера является использование твердотельного диска в качестве кэша для основного жесткого диска. Технология ASUS SSD Caching позволяет сделать это одним щелчком мыши, даже не перегружая компьютер. Кроме того, эта технология включает инструменты создания резервных копий данных. Тесты показывают, что гибридная дисковая подсистема оказывается до трех раз более быстрой, чем обычная.

Думаю, что SSD будет долго жить.
Записаний
SW ED80 BD,  GSO 8" F4,  HEQ-5,  SW AZ-4,  4 камеры метеорного видеонаблюдения
"Смотрите на звезды, а не под ноги, будьте любознательными" (Стивен Хокинг)

M_M

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 5068
  • Подяк: 1094
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #22 : 01 Грудня 2014, 23:37:51 »
. - .

Ну и еще один вариант, который был раньше весьма популярен, а именно - физический RAM диск. Для свопа долговременное хранение не актуально.
Записаний

Олег Малий

  • Offline Offline
  • Повідомлень: 2551
  • Подяк: 604
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #23 : 02 Грудня 2014, 00:34:42 »
. - .

возможно, как вариант, стоит рассмотреть установку рэйда. это выйдет несколько дороже, чем ССД-винт, но ресурс жизни рэйда выше, а самое главное, плюсы скорости и надежности рэйда распространяются на все данные, а не только на своп. в конечном итоге, ограничивать пропускную способность будет уже не дисковая система, а то, к чему она подключена.
Операционная система установлена на 500Гб диске (7200 об/мин), на нём и файл подкачки.

RAID0 я сложил с двух 2Тб винчестеров (7200 об/м) - это ускорило обработку данных (на RAID0 я помещаю данные для обработки, т.е. программа работает именно на RAID0).
Планирую сделать RAID0 с четырёх винчестеров по 2Тб, потому как для создания больших мозаик (которые из 14-15 тысяч отдельных фрагментов), нужно около 4Тб дискового пространства для трёх каналов цвета (R,V и B).

Данные хранятся на ещё одном винчестере 2Тб., который служит складом.

RAID0 используется только в роли рабочей площадки:
1. загрузил данные для обработки.
2. обработал, получил результат, сохранил его на складе.
3. удалил с RAID0 исходные данные, промежуточные результаты и результат обработки.
« Останнє редагування: 02 Грудня 2014, 00:41:00 від Олег Малий »
Записаний

Олег Малий

  • Offline Offline
  • Повідомлень: 2551
  • Подяк: 604
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #24 : 02 Грудня 2014, 00:50:17 »
. - .

Копайте в другом направлении. Софт, который делает обработку, умеет распараллеливать процессы? Если да, и это норм реализовано - Вам нужна серверная мать под 2 процессора, ксеоны с хорошим кешем скорее всего решат эту проблему и без наращивания ОЗУ.
Софт позволяет производить многопотоковую обработку.
Вот этот софт http://www.astro.uni-bonn.de/theli/gui/index.html

По поводу более мощного компьютера с материнкой на два процессора - над этим я думаю, но сперва хочу проапгрейдить текущий компьютер.
Записаний


Олег Малий

  • Offline Offline
  • Повідомлень: 2551
  • Подяк: 604
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #25 : 02 Грудня 2014, 01:02:39 »
. - .

В спецификации материнской платы: http://www.asus.com/ua/Motherboards/P9X79_WS/

ASUS SSD Caching

Ускорение дисковой подсистемы одним щелчком мыши
Одним из способов ускорения дисковой подсистемы компьютера является использование твердотельного диска в качестве кэша для основного жесткого диска. Технология ASUS SSD Caching позволяет сделать это одним щелчком мыши, даже не перегружая компьютер. Кроме того, эта технология включает инструменты создания резервных копий данных. Тесты показывают, что гибридная дисковая подсистема оказывается до трех раз более быстрой, чем обычная.

Думаю, что SSD будет долго жить.
Технология ASUS SSD Caching она ж только под ОС Windows, если я не ошибаюсь.
А мой рабочий софт существует только под ОС семейства Linux, где он собирается и устанавливается только с исходного кода (нет готовых установочных файлов).

Касательно SSD кеширования под Линукс, я знаю три таких системы:
1. flashcache, которая используется на серверах Facebook: с 2011 года её код стал свободно доступным http://habrahabr.ru/post/149655/
2. bcache http://bcache.evilpiepirate.org/
3. dm-cache http://en.wikipedia.org/wiki/Dm-cache
« Останнє редагування: 02 Грудня 2014, 01:11:14 від Олег Малий »
Записаний

Олег Малий

  • Offline Offline
  • Повідомлень: 2551
  • Подяк: 604
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #26 : 02 Грудня 2014, 01:31:56 »
. - .

Решил и свой SSD проверить. ... Всё равно SSD диск не заменит нормальную оперативку.
Судя по результатам проверки, чукча SSD более писатель чем читатель  :hz:

Где начало того конца, которым оканчивается начало? Что делать, когда окажется, что 256 гБ памяти мало? Потребность в большом к-ве оперативки часто говорит о системной проблеме используемого алгоритма. Очень редко нужно огромное количество памяти, поскольку редко нужно иметь весь массив данных в ОЗУ одновременно. Многопроцессорность/многопоточность - более важный параметр для обработки.
Для интереса, запускаю операцию с разным числом потоков обработки:
1. один поток потребляет максимум около 10 Гб памяти.
2. два потока потребляют максимум около 17 Гб памяти.
3. четыре потока потребляют максимум около 34 Гб памяти.
4. шесть потоков потребляют максимум около 50 Гб памяти.
5. восемь потоков потребляют максимум около 60 Гб памяти, т.е. почти всю память.

А процессор имеет 6 ядер или 12 потоков.

Лезет в голову одна мысль: поскольку обработка ведётся на RAID0, скорость записи/чтения которого около 300 Мб/с, то он просто не успевает читать/писать, а поэтому обработанная информация ждёт в памяти свою очередь, пока RAID0 её соизволит записать.

Иначе говоря, медлительность RAID0 отнимает часть оперативной памяти.
« Останнє редагування: 02 Грудня 2014, 01:53:38 від Олег Малий »
Записаний

mak

  • Модератор
  • Offline Offline
  • Повідомлень: 1208
  • Подяк: 269
    • Бердянское общество любителей астрономии "Орион"
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #27 : 02 Грудня 2014, 01:40:02 »
. - .

Да, похоже, что рэйды на HDD для скоростных систем таки уже, можно сказать, ушли в прошлое.
На фоне SSDPEDMD400G401 они смотрятся крайне печально...

Олег Малий

  • Offline Offline
  • Повідомлень: 2551
  • Подяк: 604
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #28 : 02 Грудня 2014, 02:03:03 »
. - .

Вот мои тесты сравнения скорости этапов обработки для RAID0 и более старого 2Тб винчестера:
Записаний

Олег Малий

  • Offline Offline
  • Повідомлень: 2551
  • Подяк: 604
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #29 : 02 Грудня 2014, 02:08:48 »
. - .

В тестах выше, процессор и память те же, а вот в роли рабочей площадки выступает RAID0 из двух 2Тб винчестеров (по 7200 об/м) и один более старый винчестер на 2 Тб (5900 об/м).

При использовании RAID0, на операции ушло 2440 с, в то время как они заняли 5055 с при использовании одиночного винчестера.
Записаний

AlexCherny

  • Offline Offline
  • Повідомлень: 548
  • Подяк: 214
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #30 : 02 Грудня 2014, 08:51:03 »
. - .

В тестах выше, процессор и память те же, а вот в роли рабочей площадки выступает RAID0 из двух 2Тб винчестеров (по 7200 об/м) и один более старый винчестер на 2 Тб (5900 об/м).

При использовании RAID0, на операции ушло 2440 с, в то время как они заняли 5055 с при использовании одиночного винчестера.

Работа с Raid0 - абсолютно неправильный подход, даже если комп защищён мощным UPS'ом на полчаса работы. Raid0 быстрее других рейдов, но это рулетка (по времени) всегда с печальным концом. Если уже пытаться сделать быстрый Raid, то только на серверных винтах (со скоростью 10к или 15к) и аппаратным рейдом от Адаптек 7го поколения с SSD на этом рейде.
Или новая материнка с двумя мощными многопотоковыми процессорами.
Кстати, разработчики софта наверняка знают, как ускорить его работу. И тестируют свой софт на мощных компах.
Записаний

Олег Малий

  • Offline Offline
  • Повідомлень: 2551
  • Подяк: 604
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #31 : 02 Грудня 2014, 10:58:42 »
. - .

Тот софт, что я на нём работаю, основан на базе ряда консольных утилит http://www.astromatic.net/software

Разработчики рекомендуют именно собирать программу с исходных кодов, поскольку так она будет максимально оптимизированной под компьютерное железо.

На данный момент, я решил создать RAID0 из шести "чёрных" WD SE 1TB WD1002F9YZ (3,5'' SATA III 7200rpm 128MB bulk).
Цена вопроса примерно 450 евро.
Записаний

LifeIsGood

  • Moderator
  • Offline Offline
  • Повідомлень: 5234
  • Подяк: 446
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #32 : 02 Грудня 2014, 11:08:32 »
. - .

Работа с Raid0 - абсолютно неправильный подход, даже если комп защищён мощным UPS'ом на полчаса работы. Raid0 быстрее других рейдов, но это рулетка (по времени) всегда с печальным концом.
Если использовать такой рейд только как временное хранилище данных на время их обработки, то почему бы и нет? В худшем случае теряется работа предыдущей серии, т.е., я так понимаю, от силы несколько часов.
Записаний

Олег Малий

  • Offline Offline
  • Повідомлень: 2551
  • Подяк: 604
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #33 : 02 Грудня 2014, 11:27:09 »
. - .

В случае разрушения целостности RAID0, бесперебойник никак не поможет.
А случае пропадания питания компьютера, пропадут только результаты работы текущей операции, которую после можно будет запустить повторно.
Записаний

AlexCherny

  • Offline Offline
  • Повідомлень: 548
  • Подяк: 214
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #34 : 02 Грудня 2014, 11:47:20 »
. - .

Если использовать такой рейд только как временное хранилище данных на время их обработки, то почему бы и нет? В худшем случае теряется работа предыдущей серии, т.е., я так понимаю, от силы несколько часов.
После сбоя рейда0 возникают проблемы и вопросы типа "Случайно сбойнуло?", "Не умирает ли какой-то из винтов?", "Когда следующий сбой?". Плюс полная проверка всех винтов, входящих в Рейд0. На ixbt.com масса инфы от профессионалов - по домашним и не только рейдам.
Олег, узнай у разработчиков софта условия максимально быстрой обработки данных. Выбери из этих условий самые дорогие, которые мешают быстрому внедрению. Проанализируй свои возможности и свои задачи. Если разработчики рекомендуют использовать SSD для свопа - выбери самый быстрый на удвоенный размер оперативной памяти.
Записаний
Подякували

Олег Малий

  • Offline Offline
  • Повідомлень: 2551
  • Подяк: 604
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #35 : 02 Грудня 2014, 11:49:19 »
. - .

Выше на странице есть скрин моего тестирования скорости работы RAID0 из двух 2Тб винчестеров (по 7200 об/м): средние скорости записи и чтения около 300 Мб/с.
По идее, скорости записи и чтения для RAID0 из шести 1Тб винчестеров (по 7200 об/м) должны быть на уровне 900 Мб/с.
Записаний

Konstantin

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 486
  • Подяк: 99
  • Константин Юдин, Харьков
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #36 : 02 Грудня 2014, 12:50:45 »
. - .

Мой опыт эксплуотации нагруженных серверов:
свопы на скоростных RAID-ах, построенных на HDD или SSD носителях, для кардинального решения вопроса нехватки ОЗУ не подходят. Это своего рода разминка для ума, чтоб доказать себе, что да, работает, даже чуть быстрее, но вопрос все так же не решен! Если память не хватает, то увы, все банально - меняем мать (если болше не поддерживает), и докупаем ОЗУ. Время и финансы потраченные на эксперименты со свопами, того не стоят.
Существующая железяка пока работает, и слава богу. Рядом стройте новую!
« Останнє редагування: 02 Грудня 2014, 12:58:05 від Konstantin »
Записаний
Астрограф Ньютон 15", f/4. Обсерватория в Харьковской области

Олег Малий

  • Offline Offline
  • Повідомлень: 2551
  • Подяк: 604
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #37 : 02 Грудня 2014, 13:34:08 »
. - .

Мой опыт эксплуотации нагруженных серверов:
свопы на скоростных RAID-ах, построенных на HDD или SSD носителях, для кардинального решения вопроса нехватки ОЗУ не подходят. Это своего рода разминка для ума, чтоб доказать себе, что да, работает, даже чуть быстрее, но вопрос все так же не решен! Если память не хватает, то увы, все банально - меняем мать (если болше не поддерживает), и докупаем ОЗУ. Время и финансы потраченные на эксперименты со свопами, того не стоят.
Существующая железяка пока работает, и слава богу. Рядом стройте новую!
В ответе #26 я написал следующее:

Для интереса, запускаю операцию с разным числом потоков обработки:
1. один поток потребляет максимум около 10 Гб памяти.
2. два потока потребляют максимум около 17 Гб памяти.
3. четыре потока потребляют максимум около 34 Гб памяти.
4. шесть потоков потребляют максимум около 50 Гб памяти.
5. восемь потоков потребляют максимум около 60 Гб памяти, т.е. почти всю память.

А процессор имеет 6 ядер или 12 потоков.

Лезет в голову одна мысль: поскольку обработка ведётся на RAID0, скорость записи/чтения которого около 300 Мб/с, то он просто не успевает читать/писать, а поэтому обработанная информация ждёт в памяти свою очередь, пока RAID0 её соизволит записать.

Если я не ошибаюсь с этим выводом, то добавление оперативной памяти - это не есть корретным решением данной проблемы.
Допустим, что я куплю иную материнку и поставлю на неё 128 Гб оперативки, но оставлю прежний RAID0 с его скоростями записи/чтения около 300 Мб/с.
Ну, хорошо... Ну будут те 128 Гб оперативки также загружены на 80-100 ГБ, а то и полностью, потому как скорость записи/чтения файлов в рабочие директории, которые на медленном RAID0, останется прежней.

Иначе говоря: очередь на запись/чтение станет в два раза шире, а "дверь" (канал записи/чтения на RAID0) останется прежней ширины (пропускной способности).
Записаний

Олег Малий

  • Offline Offline
  • Повідомлень: 2551
  • Подяк: 604
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #38 : 02 Грудня 2014, 13:49:28 »
. - .

Мой рабочий компьютер построен на базе материнской платы ASUS P9X79 WS, которая на момент её выпуска поддерживала максимум 64 Гб оперативной памяти.

Весьма недавно ASUS добавила поддержку 128 Гб оперативной памяти на материнских платах с чипсетом X79 http://oclab.ru/news/asus-dobavila-podderzhku-128-gb-operativnoy-pamyati-na-materinskih-platah-s-chipsetom-x79

Но, узкое место в моём компьютере - это не память и не файл подкачки, а таки медленный RAID0 с его скоростями записи/чтения около 300 Мб/с, из-за чего часть памяти тупо уходит на хранение данных, ждущих свою очередь на запись в рабочие директории.
Записаний

Konstantin

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 486
  • Подяк: 99
  • Константин Юдин, Харьков
Re: Можно ли применить SSD для подкачки памяти?
« Відповідь #39 : 02 Грудня 2014, 14:15:50 »
. - .

На практике с проблеммой недостаточной пропускной способности интерфейса дисковой подсистемы я не сталкивался.
Предлагаю тест: уменьшить ОЗУ в 2 раза, и посмотреть на загрузку канала. Если она уменьшиться в число раз, сопостовимое с '2', тогда проблемма действительно в скорости интерфейса.
Что-то мне подсказывает, что здесь могут быть неоднозночности.
Записаний
Астрограф Ньютон 15", f/4. Обсерватория в Харьковской области