Друк

[Гість]

Ласкаво просимо, Гість. Будь ласка, увійдіть або зареєструйтеся.
24 Липня 2025, 12:02:00

1 година 1 день 1 тиждень 1 місяць Назавжди

Увійти

[Новини]

•    Новини
•      Астрономія
•      Астрозаходи
•    Життя клуба
•      Новини
•      Проекти
•      Заходи
•      Звіти про спостереження
•      Документи
•    Статті
•      Обладнання та телескопи
•      Спостереження
•      Астрофотографія
•      Астрософт
•      Астрономія в Україні
•      Астрономи шуткують
•      Інше
•     
•      Файловий архів

Наш канал

Наші сайти

Астро-сайти

Програми

Наш канал

Наші сайти

Астро-сайти

Програми

[Олег Малий]

На практике с проблеммой недостаточной пропускной способности интерфейса дисковой подсистемы я не сталкивался.

Что на это скажете?

Old_HDD примерно раза в три медленней по скоростям записи и чтения, чем RAID0. Вот результаты теста на одном компьютере, но с рабочими директориями в разных местах (на винчестере и RAID0):

[Олег Малий]

С тестов видно, что самая большая разница по скорости в первой операции (105 с против 440 с).

Для тестов я использовал исходники от камеры на 32 чипа: телескоп снимает, а после каждый кадр пакует в FITS контейнер, т.е. изображения от всех 32 чипов (кадр из 32 фрагментов) запакованы в один FITS файл.

Зачем эта операция?
Широкоугольные камеры больших телескопов составлены из набора CCD чипов.

Понятно, что каждый из чипов имеет свои индивидуальные характеристики, а поэтому изображения от каждого иного чипа нужно калибровать именно его калибровочными кадрами (и никак иначе!).
Для этого, программа расщепляет каждый FITS контейнер на составляющие его отдельные чипы (операция Split fits), далее меняет оглавление каждого из фрагментов (операция correct header), а после размещает те фрагменты в рабочую директорию для их последующей обработки.

Иначе говоря, это простая операция чтения и записи на диск, но и по ней видно, что использование RAID0 в разы сокращает время её выполнения.

[M_M]

IMHO очевидно, что для оптимизации конкретной задачи нужно минимизировать к-во обращений к медленному RAID. Для этого IMHO достаточно обрабатывать каждый фрагмент полностью, без записи промежуточных результатов. Тогда одно считывание, одна запись. В предположении, что объем данных  с одного CCD равен 100 мБ, и 32-х CCD, нужно прочитать и записать 3.2 гигабайта на один супер-кадр. При типично посредственной пропускной способности RAID в 200 мБ/сек на чтение-запись супер кадра нужно 32 секунды. Обычный современный HDD пишет/читает в полтора-два раза медленнее, все равно получается значительно меньше 100 секунд. Итого - есть подозрение на неоптимальное использование дисковых операций в алгоритме обработки. Понимаю, что кроме CCD нужно читать калибровочные данные. Но они могут быть прочитаны один раз на всю серию кадров, т.е. их доля может быть сведена к минимуму. Это если не заниматься покадровой обработкой, но пакетной обработкой всей серии.

[Олег Малий]

Калибровка - то одна из наименее ресурсозатратных операций.
Сперва программа расщеспляет все "лайты" и калибровочные кадры, после создаёт мастер-калибровочные кадры и калибрует.
На выходе получаем кучу откалиброванных фрагментов, которые нужно сложить в мозаику...
А для этого программа создаёт специальные "весовые" фитсы, потому как разные экспозиции могут иметь разную длительность и т.п.
А после каждый фрагмент обрабатывается на тему "опознания" звёзд, потом идёт фотометрия...
А как иначе сложить мозаику, чтобы учесть дисторсию и прочее?

После идёт операция вычитания фона неба с каждого фрагмента, которая может быть ну очень прожорливой
А уже потом складывается мозаика.

[M_M]

Мозаики не только астролюбители делают. И складывают фрагменты, снятые в разное время, пешеходы и движущиеся машины вычитаются, что несколько сложнее фона.

Даже с Марса гигапиксельная картинка есть:
http://360gigapixels.com/mars-gigapixel-panorama-curiosity-solar-days-136-149/#0.00,0.00,70.0

Но хотелось обратить внимание на подход к алгоритму обработки. Даже не надо Кнута читать, просто принять на веру, что в программировании иногда перестановкой вычислений местами можно добиться очень сильного прироста производительности. И может оказаться, что даже 8 ГБ памяти вполне достаточно для шустрой работы.

Подякували

1 :LifeIsGood

[Олег Малий]

Мозаики не только астролюбители делают. И складывают фрагменты, снятые в разное время, пешеходы и движущиеся машины вычитаются, что несколько сложнее фона.

Даже с Марса гигапиксельная картинка есть:
http://360gigapixels.com/mars-gigapixel-panorama-curiosity-solar-days-136-149/#0.00,0.00,70.0

Но хотелось обратить внимание на подход к алгоритму обработки. Даже не надо Кнута читать, просто принять на веру, что в программировании иногда перестановкой вычислений местами можно добиться очень сильного прироста производительности. И может оказаться, что даже 8 ГБ памяти вполне достаточно для шустрой работы.

То ж мозаики иных типов...

[VAKT]

а что мешает взять и попробовать поставить ssd

[Олег Малий]

а что мешает взять и попробовать поставить ssd

Так получилось, что у меня до сих пор нет SSD, поскольку новый рабочий компьютер собирал на четырёх винчестерах.

[mak]

Олег, так может его купить? Он в любом случае пригодится.

[Олег Малий]

Олег, так может его купить? Он в любом случае пригодится.

Да, можно купить небольшого до 128 Гб "соседа" для экспериментов.
...или же 2 по 60Гб, чтобы их подключить в режиме RAID0.

[VAKT]

2 по 60 это и будет по скорости как один на 120 - ssd они такие (не все банки распаяны)

[Олег Малий]

SSD + raid0 — не всё так просто http://habrahabr.ru/company/webzilla/blog/227927/

[alex_veles]

Вставлю свои 5 копеек.
1. Свап на ssd имеет мало смысла, по-моему это замена деревянного костыля на золотой, всё-равно костыль.
2. Взять хороший ssd просто под данные. SSD выбирать не по параметру линейной скорости, а по скорости чтения/записи небольшими блоками (4-32кб) в несколько потоков (8-32 потока).
3. Ради эксперимента, откусить 20-30ГБ памяти под рамдиск (ramfs или tmpfs в linux), положить туда все данные, и замерить производительность в 2-4 потока (чтобы оставшейся памяти хватало).
4. По результатам эксперимента 3 брать SSD или даже городить рейд из них.

[gamba69]

SSD + raid0 — не всё так просто http://habrahabr.ru/company/webzilla/blog/227927/

То есть 1 гигабайт в сек - плохо? А по чтению - таки "линейка" от кол-ва винтов? Такая сборка из небольших 3-4 ССД ~ 128г перекроет любую задачу (кроме возни с толстым видео, а такая возня всегда перекроет любой объем ССД, да и на возне с видео "онлайн" темп не критичен, ну и кроме того - каким процом кормить такую скорость ввода-вывода?).

[Олег Малий]

1 Г/б с - это хорошо, только есть одна проблема: нужны объёмы уж крайне желательно, чтобы не меньше 2-3 Тб. А лучше 4-5 Тб.
А "соседи" с такими суммарными объёмами по цене выйдут, что "мама не горюй"

[mak]

Олег, ты хочешь 5 тер на ходу обрабатывать??? боюсь, что тут придется сильно задуматься о переходе на кластер. а это "немного" другие деньги. Так что предлагаю тебе остановиться на том, что могут предложить современные общедоступные технологии и немного подождать. лет 5. скорее всего получишь твердотельник уже немного другой технологии и скорости. пытаться сейчас выдушить невыдушиваемое может оказаться сильно ресурсозатратным делом. надо ли оно? стоит ли лишних 20-30 минут ожидания завершения обработки таких усилий? может дешевле будет просто почитать книжку или послушать музыку, пока ждешь?

[Олег Малий]

Создать RAID0 с 4-6 винчестеров - это по денежным затратам весьма вменяемо (350-600 евро) 
В случае неудачи эксперимента, тем винчестерам всегда найду применение.

[alex_veles]

Я бы советовал в любом случае взять ssd на 128-256ГБ (что-то из серий самсунг 840-850,Crucial MX100 и т.п. ).
Если не подойдут к Вашим задачам, они прекрасно подойдут под ОС и кэш браузера :-)
Если получите значительное ускорение - собирать деньги на несколько терабайтных ssd, или ждать пока подешевеют :-)
Или тасовать данные для обработки до 1ТБ.

[VAKT]

Если уж брать, то как раз самунг старших моделей - у нет проблем при заполнении половины объёма и свой контроллер очень хороший.
Я скажу по своему ощущению: когда я поставил ssd - я понял, что такое нормальная многозадачность.

А ни у кого нет на пару дней взять чтобы попробовать ?