Друк

[Гість]

Ласкаво просимо, Гість. Будь ласка, увійдіть або зареєструйтеся.
19 Квітня 2024, 15:49:47

1 година 1 день 1 тиждень 1 місяць Назавжди

Увійти

[Новини]

•    Новини
•      Астрономія
•      Астрозаходи
•    Життя клуба
•      Новини
•      Проекти
•      Заходи
•      Звіти про спостереження
•      Документи
•    Статті
•      Обладнання та телескопи
•      Спостереження
•      Астрофотографія
•      Астрософт
•      Астрономія в Україні
•      Астрономи шуткують
•      Інше
•     
•      Файловий архів

Наш канал

Наші сайти

Астро-сайти

Програми

Наш канал

Наші сайти

Астро-сайти

Програми

[Andrey57]

Уважаемые коллеги!
Заглянуть на Ваш форум мне порекомендовал  Олег Брызгалов, которого я знаю много-много лет.  Как представитель Украинской национальной грид-инфраструктуры, хочу предложить  Вам создать  портал в Европейской грид инфраструктуре (http://www.egi.eu/) по астрофотографии. Суть портала – каждый астрофотограф может использовать программы обработки  изображений, вычислительные ресурсы и ресурсы хранения  (бесплатно, если это не связано с коммерческим  использованием).  Т.е. создается «виртуальное исследовательское пространство»  для астрофотографа.  Вопрос  любитель или профессионал, в Европе начинает стираться и даже введен термин гражданской науки.  Вопрос наука или искусство, если создают домен для музыки, то почему нельзя для астрофотографии. Средства на создание портала (шлюза) предлагается получить через программу Горизон 2020.  Основная задача собрать коллектив из представителей астрофотоклубов  и  национальных грид-инфраструктур  от Украины и еще минимум трех Европейских стран, чтобы удовлетворить  требованиям конкурса и написать правильные бумаги.  Координатором, скорее всего должен  быть представитель европейской страны или представитель  EGI. Если  это интересно и Вы сможете заинтересовать  Ваших коллег из  трех  европейских стран, то можно попробовать  описать это предложение и подать документы на конкурс.
Очень хотел бы услышать Ваше мнение.
С уважением,
Андрей Шевченко,
Научный сотрудник института теоретической физики НАНУ,
Руководитель группы поддержки пользователей
Базового координационного  центра
Национальной грид инфраструктуры

shanyu57@gmail.com
http://ung.in.ua/
https://www.facebook.com/groups/digitalscience/

Подякували

1 :Олег Малий

[mnn72]

Ниче не ясно. Что это дает и для чего это нужно 

[Vadym]

Ниче не ясно. Что это дает и для чего это нужно 

Концепция грид (Википедия)

Грид является географически распределённой инфраструктурой, объединяющей множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения.

Идея грид-компьютинга возникла вместе с распространением персональных компьютеров, развитием интернета и технологий пакетной передачи данных на основе оптического волокна (SONET, SDH и ATM), а также технологий локальных сетей (Gigabit Ethernet). Полоса пропускания коммуникационных средств стала достаточной, чтобы при необходимости привлечь ресурсы другого компьютера. Учитывая, что множество подключенных к глобальной сети компьютеров большую часть рабочего времени простаивает и располагает большими ресурсами, чем необходимо для решения их повседневных задач, возникает возможность применить их неиспользуемые ресурсы в другом месте.

В настоящее время выделяют три основных типа грид-систем:

Добровольные гриды — гриды на основе использования добровольно предоставляемого свободного ресурса персональных компьютеров;
Научные гриды — хорошо распараллеливаемые приложения программируются специальным образом (например, с использованием Globus Toolkit);
Гриды на основе выделения вычислительных ресурсов по требованию (коммерческий грид, англ. enterprise grid) — обычные коммерческие приложения работают на виртуальном компьютере, который, в свою очередь, состоит из нескольких физических компьютеров, объединённых с помощью грид-технологий.

Если я правильно понимаю, то это способ расширить возможности своего компьютера, используя грид-технологии...

[Олег Малий]

Как представитель Украинской национальной грид-инфраструктуры, хочу предложить Вам создать  портал в Европейской грид инфраструктуре (http://www.egi.eu/) по астрофотографии. Суть портала – каждый астрофотограф может использовать программы обработки  изображений, вычислительные ресурсы и ресурсы хранения  (бесплатно, если это не связано с коммерческим  использованием).  Т.е. создается «виртуальное исследовательское пространство»  для астрофотографа. 

Это весьма отлично, но боюсь что нашим любителям астрономии, за исключением нескольких человек, оно и даром НЕ надо.

Если  это интересно и Вы сможете заинтересовать Ваших коллег из  трех  европейских стран, то можно попробовать  описать это предложение и подать документы на конкурс.

Самый сложный вопрос - это не то, как заинтересовать коллег из трёх европейских стран, а как именно самих себя заинтересовать. Народ ментально пребывает на плоскости выживания, а поэтому творческий потенциал довольно низкий, а потенциал социальной активности вообще около нуля, если сравнивать с масштабами деятельности НГО в США.

[MaxMan]

Олег. Ну уже звучит как издёвка. Ощущение что ты никогда тут не был и не понимаешь как тут сейчас люди живут и чем дышат. 

[Олег Малий]

Олег. Ну уже звучит как издёвка. Ощущение что ты никогда тут не был и не понимаешь как тут сейчас люди живут и чем дышат. 

Юра, я понимаю, а поэтому написал: "Народ ментально пребывает на плоскости выживания".

[MAKsutik]

Ну для того что бы народ потянулся нужно "разжевать". Какие плюсы и все такое. Если честно я тоже не пойму что я буду иметь?
Какие гарантии что если я буду сохранять свои данные что они не того .... не потеряются.

[Andrey57]

Ниче не ясно. Что это дает и для чего это нужно 

С точки зрения пользователя, заходит на сайт, загружает файлы данных, выбирает программы обработки, запускает обработку и забирает обработанные данные. Обычно задачи, которые требуют несколько дней обработки  данных, решаются за несколько часов. Для общей информации можно посмотреть сайт Европейской грид инфраструктуры (EGI.eu)  с которой интегрирована Национальная грид инфраструктура. На сегодня Национальная грид инфраструктура представляет собой 38 ресурсных центров по Украине, 12 из них интегрированы в Европейскую сеть. Все ресурсные центры связаны оптоволоконным кабелем с реальной пропускной возможностью от 1 до 10 ГБ/сек. 

[MAKsutik]

загружает файлы данных,

какие данные.

выбирает программы обработки, 

Какие программы?
Как то все абстрактно объясняете, можно конкретики? Если я любитель астрофото что и как я смогу получить, сделать, обработать...
Вот есть куча исходников что дальше?
Как все на практике?

[Andrey57]

Ну для того что бы народ потянулся нужно "разжевать". Какие плюсы и все такое. Если честно я тоже не пойму что я буду иметь?
Какие гарантии что если я буду сохранять свои данные что они не того .... не потеряются.

Стандарт работы с грид инфраструктурой - создание виртуальной организации пользователей, которые договариваются и определяют необходимые гарантии для временного или постоянного хранения данных, их использования другими пользователями, авторские права,правила использования грид инфраструктуры и др. Координационный центр грид инфраструктуры по договоренности  с виртуальной организацией поддерживает все сервисы, принятые в эксплуатацию. Вариантами развития Европейской грид инфраструктуры которые сейчас реализуются являются создание объединенного облака для научных исследований и также совместной работы с Десктоп Грид ("свободный ресурс персональных компьютеров"). Отдельно разрабатыватся (под эгидой ЦЕРНа) Европейское облако для научных исследований - Helix-Nebula, которое через облачный сервис "pay-to-use" будет с 2015 предоставляться коммерческим структурам.

[Andrey57]

загружает файлы данных,

какие данные.

выбирает программы обработки, 

Какие программы?
Как то все абстрактно объясняете, можно конкретики? Если я любитель астрофото что и как я смогу получить, сделать, обработать...
Вот есть куча исходников что дальше?

Я исходил из практики работы Олега Брызгалова со своими снимками. Первый этап - съемка (данные) , второй этап обработка(используемые программы) . Дальше зависит от фантазии повторного использования изображений (данные). Для второго и  последующих этапов где необходимы вычислительные ресурсы, банки данных может с успехом использоваться эта инфраструктура. Все что Вы делаете сейчас каждый из вас в отдельности у себя дома, можете делать совместно на едином портале и на чужих вычислительных ресурсах.

[MAKsutik]

Ну опять все размыто и не понятно. Поймите меня правильно, хочу конкретики, а не фантастических рассказов.

второй этап обработка(используемые программы)

Какие программы? назвать можете конкретно какие программы для обработки?
Как удаленно это будет обрабатываться?
Спрашиваю не от того что бы вас достать, поймите правильно. Есть интерес но весь смысл как и что происходит уловить не могу.

[mnn72]

...
Какие программы? назвать можете конкретно какие программы для обработки?
Как удаленно это будет обрабатываться?
Спрашиваю не от того что бы вас достать, поймите правильно. Есть интерес но весь смысл как и что происходит уловить не могу.

Вот именно. Для простых людей на примере, ато как политики наши - все виртуально и никакой конкретики. Вот я в упор не понимаю какая разница между тем что я держу свои исходники у себя на компе или где-то в сети.

[MAKsutik]

Коля да кая разница где держать, хоть в банке. Вопрос как обрабатывать, какой софт, как это происходит, удаленый раб. стол, через какую то программу.

[Олег Малий]

Например, я обрабатываю астрономические данные от телескопов ESO.
Для этого использую домашний компьютер на платформе 2011 с 6-ти ядерным процессором Intel Core i7-3930K @ 3.20GHz и оперативной памятью 64Гб.

В последнем из больших проектов, пришлось обрабатывать 1741 экспозицию, чтобы в результате получить три финальных FITS для каналов RGB.
Каждая из 1741 экспозиций состоит из 8 фрагментов, что означает необходимость обработки 13928 отдельных фрагментов с последующим созданием трёх ч/б мозаик.

Компьютер в этом проекте был загружен весьма хорошо.

Обработка проводилась в THELI GUI http://www.astro.uni-bonn.de/theli/gui/index.html

[MAKsutik]

Олег я все понимаю, я спрашиваю как это будет притом пошагово.
 Абстрактно я понимаю  сылками не нужно кидаться, на пальцах желательно.

[LifeIsGood]

Наверное предлагается что-то типа Amazon EC2, когда дается доступ к Линукс машине и какое-то количество места на диске, ядер процессора/процессорного времени. Далее работаешь как с удаленным рабочим столом.
Такая схема, наверное, интересна для разного рода хорошо распараллеливаемых научных вычсилений, но для обработки астрофото в астрофотолюбиительском сегменте перспективы туманны. Так как передавать сотни мегабайт картинок для проведения обработки на облаке довольно неудобно. И в тоже время вычислительные способности самых простеньких ноутбуков позволяют обрабатывать эти самые сотни мегабайт в разумное время.

Говоря просто. В нашем случае пропускные способности каналов дороже процессорного времени. И обычного бытового компьютера вполне хватает для обработки любых разумных изображений.

[tlgleonid]

Пока не очень разобрался, но мне кажется, что идею можно использовать для поиска и исследования переменных звезд.
Ведь как ищут переменные звезды? Снимают какой-то участок неба с какой-то периодичностью и потом по сотням и тысячам кадров ищут, какие из звезд меняют яркость (с помощью той же Мунивин). Если бы любители выгружали свои фотки в облако, можно было бы искать переменки по снимкам разных любителей и увеличить вероятность обнаружения новых переменок, особенно если переменность нестабильная (всякие вспыхивающие и т.п.)

[Andrey57]

Коля да кая разница где держать, хоть в банке. Вопрос как обрабатывать, какой софт, как это происходит, удаленый раб. стол, через какую то программу.

Господа! Я не астрофотограф, поэтому какие программы Вы используете в своем сообществе и какие хотите  мне сложно сказать. Как правило все такие программы должны быть с открытым кодом, не взломанные. Если Вы сможете сформулировать свои потребности, то можно через этот конкурс привлечь IT шников для создания или развитие существующего открытого кода. Среди потенциальных  заинтересованных лиц для создание домена должны быть наиболее грамотные пользователи - определить требования к программам, создатели открытого кода и те кто сопровождают и поддерживают в грид инфраструктуре. Ресурсы могут быть любые свободные в нужный момент ( по всей Европе), при необходимости могут использоваться и суперкомпьютер. (стандартній ресурсный центр в Грид от 100 до 1000 ядер, в Украине 100-300). Доступ для зарегистрированных  участников Национальных грид инфраструктур (сертификат обновляется раз в год.) удаленный, клиентская программа если развитый домен, то как в Windows, если не развитая при експериментах то коды линукса (для SSH).

[LifeIsGood]

Разговор чем то напомнил юмореску.
А что у вас есть?
А что вам надо?

Подякували

1 :MAKsutik