Киевский клуб любителей астрономии "Астрополис"

astromagazin.net
* *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
16 Декабря 2017, 13:09:14


Автор Тема: Создание виртуального исследовательского домена "Астрофотография" в EGI  (Прочитано 1038 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Andrey57

  • Оффлайн Оффлайн
  • Сообщений: 9
  • Благодарностей: 1

Уважаемые коллеги!
Заглянуть на Ваш форум мне порекомендовал  Олег Брызгалов, которого я знаю много-много лет.  Как представитель Украинской национальной грид-инфраструктуры, хочу предложить  Вам создать  портал в Европейской грид инфраструктуре (http://www.egi.eu/) по астрофотографии. Суть портала – каждый астрофотограф может использовать программы обработки  изображений, вычислительные ресурсы и ресурсы хранения  (бесплатно, если это не связано с коммерческим  использованием).  Т.е. создается «виртуальное исследовательское пространство»  для астрофотографа.  Вопрос  любитель или профессионал, в Европе начинает стираться и даже введен термин гражданской науки.  Вопрос наука или искусство, если создают домен для музыки, то почему нельзя для астрофотографии. Средства на создание портала (шлюза) предлагается получить через программу Горизон 2020.  Основная задача собрать коллектив из представителей астрофотоклубов  и  национальных грид-инфраструктур  от Украины и еще минимум трех Европейских стран, чтобы удовлетворить  требованиям конкурса и написать правильные бумаги.  Координатором, скорее всего должен  быть представитель европейской страны или представитель  EGI. Если  это интересно и Вы сможете заинтересовать  Ваших коллег из  трех  европейских стран, то можно попробовать  описать это предложение и подать документы на конкурс.
Очень хотел бы услышать Ваше мнение.
С уважением,
Андрей Шевченко,
Научный сотрудник института теоретической физики НАНУ,
Руководитель группы поддержки пользователей
Базового координационного  центра
Национальной грид инфраструктуры

shanyu57@gmail.com
http://ung.in.ua/
https://www.facebook.com/groups/digitalscience/
Записан
Сказали спасибо

mnn72

  • Оффлайн Оффлайн
  • Сообщений: 5171
  • Благодарностей: 392
  • Astromouse
    • Astromouse

Ниче не ясно. Что это дает и для чего это нужно  :hz:
Записан
Обсерватория: Ananjev (L33, IAU); AAVSO: MNIC
Открыто: 61 переменных, 10 сверхновых; Подтверждения: 9 астероидов, 3 кометы.

Vadym

  • Клуб Астрополис
  • Оффлайн Оффлайн
  • Сообщений: 2486
  • Благодарностей: 238
  • Киев, Подол
    • Звездное небо - моя фотогалерея

Ниче не ясно. Что это дает и для чего это нужно  :hz:

Концепция грид (Википедия)
Цитировать
Грид является географически распределённой инфраструктурой, объединяющей множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения.

Идея грид-компьютинга возникла вместе с распространением персональных компьютеров, развитием интернета и технологий пакетной передачи данных на основе оптического волокна (SONET, SDH и ATM), а также технологий локальных сетей (Gigabit Ethernet). Полоса пропускания коммуникационных средств стала достаточной, чтобы при необходимости привлечь ресурсы другого компьютера. Учитывая, что множество подключенных к глобальной сети компьютеров большую часть рабочего времени простаивает и располагает большими ресурсами, чем необходимо для решения их повседневных задач, возникает возможность применить их неиспользуемые ресурсы в другом месте.

В настоящее время выделяют три основных типа грид-систем:

Добровольные гриды — гриды на основе использования добровольно предоставляемого свободного ресурса персональных компьютеров;
Научные гриды — хорошо распараллеливаемые приложения программируются специальным образом (например, с использованием Globus Toolkit);
Гриды на основе выделения вычислительных ресурсов по требованию (коммерческий грид, англ. enterprise grid) — обычные коммерческие приложения работают на виртуальном компьютере, который, в свою очередь, состоит из нескольких физических компьютеров, объединённых с помощью грид-технологий.

Если я правильно понимаю, то это способ расширить возможности своего компьютера, используя грид-технологии...
Записан
Моя фотогалерея
МШР, БТР-12, ED-80, HEQ-5, Бино 20х80, QHY-5, Canon 450D

Олег Малий

  • Оффлайн Оффлайн
  • Сообщений: 2182
  • Благодарностей: 433

Как представитель Украинской национальной грид-инфраструктуры, хочу предложить Вам создать  портал в Европейской грид инфраструктуре (http://www.egi.eu/) по астрофотографии. Суть портала – каждый астрофотограф может использовать программы обработки  изображений, вычислительные ресурсы и ресурсы хранения  (бесплатно, если это не связано с коммерческим  использованием).  Т.е. создается «виртуальное исследовательское пространство»  для астрофотографа. 
Это весьма отлично, но боюсь что нашим любителям астрономии, за исключением нескольких человек, оно и даром НЕ надо.

Цитировать
Если  это интересно и Вы сможете заинтересовать Ваших коллег из  трех  европейских стран, то можно попробовать  описать это предложение и подать документы на конкурс.
Самый сложный вопрос - это не то, как заинтересовать коллег из трёх европейских стран, а как именно самих себя заинтересовать. Народ ментально пребывает на плоскости выживания, а поэтому творческий потенциал довольно низкий, а потенциал социальной активности вообще около нуля, если сравнивать с масштабами деятельности НГО в США.
Записан
Скачиваем и тестируем дистрибутив Ubuntu Astronomy

MaxMan

  • Клуб Астрополис, Модератор
  • Оффлайн Оффлайн
  • Сообщений: 7674
  • Благодарностей: 1339
  • Регулярно люблю Астрономию!!!
    • http://astrobudka.blogspot.com/

Олег. Ну уже звучит как издёвка. Ощущение что ты никогда тут не был и не понимаешь как тут сейчас люди живут и чем дышат.  :-\
Записан
WS-180 + N 190/760 + parracor-2 + ATiK 383L, WS-180 + NRL 300/1200 + parracor-1 + ATiK 414EX
N 49*57'52"   E 36*05'41"    заходите в гости..... :)

Олег Малий

  • Оффлайн Оффлайн
  • Сообщений: 2182
  • Благодарностей: 433

Олег. Ну уже звучит как издёвка. Ощущение что ты никогда тут не был и не понимаешь как тут сейчас люди живут и чем дышат.  :-\
Юра, я понимаю, а поэтому написал: "Народ ментально пребывает на плоскости выживания".
Записан
Скачиваем и тестируем дистрибутив Ubuntu Astronomy

MAKsutik

  • Оффлайн Оффлайн
  • Сообщений: 4707
  • Благодарностей: 249
  • Ищи на третьей планете.
    • Project EQDrive

Ну для того что бы народ потянулся нужно "разжевать". Какие плюсы и все такое. Если честно я тоже не пойму что я буду иметь?
Какие гарантии что если я буду сохранять свои данные что они не того .... не потеряются.
Записан



Andrey57

  • Оффлайн Оффлайн
  • Сообщений: 9
  • Благодарностей: 1

Ниче не ясно. Что это дает и для чего это нужно  :hz:
С точки зрения пользователя, заходит на сайт, загружает файлы данных, выбирает программы обработки, запускает обработку и забирает обработанные данные. Обычно задачи, которые требуют несколько дней обработки  данных, решаются за несколько часов. Для общей информации можно посмотреть сайт Европейской грид инфраструктуры (EGI.eu)  с которой интегрирована Национальная грид инфраструктура. На сегодня Национальная грид инфраструктура представляет собой 38 ресурсных центров по Украине, 12 из них интегрированы в Европейскую сеть. Все ресурсные центры связаны оптоволоконным кабелем с реальной пропускной возможностью от 1 до 10 ГБ/сек. 
Записан

MAKsutik

  • Оффлайн Оффлайн
  • Сообщений: 4707
  • Благодарностей: 249
  • Ищи на третьей планете.
    • Project EQDrive

загружает файлы данных,
какие данные.
выбирает программы обработки, 
Какие программы?
Как то все абстрактно объясняете, можно конкретики? Если я любитель астрофото что и как я смогу получить, сделать, обработать...
Вот есть куча исходников что дальше?
Как все на практике?
« Последнее редактирование: 27 Августа 2014, 16:18:34 от MAKsutik »
Записан



Andrey57

  • Оффлайн Оффлайн
  • Сообщений: 9
  • Благодарностей: 1

Ну для того что бы народ потянулся нужно "разжевать". Какие плюсы и все такое. Если честно я тоже не пойму что я буду иметь?
Какие гарантии что если я буду сохранять свои данные что они не того .... не потеряются.
Стандарт работы с грид инфраструктурой - создание виртуальной организации пользователей, которые договариваются и определяют необходимые гарантии для временного или постоянного хранения данных, их использования другими пользователями, авторские права,правила использования грид инфраструктуры и др. Координационный центр грид инфраструктуры по договоренности  с виртуальной организацией поддерживает все сервисы, принятые в эксплуатацию. Вариантами развития Европейской грид инфраструктуры которые сейчас реализуются являются создание объединенного облака для научных исследований и также совместной работы с Десктоп Грид ("свободный ресурс персональных компьютеров"). Отдельно разрабатыватся (под эгидой ЦЕРНа) Европейское облако для научных исследований - Helix-Nebula, которое через облачный сервис "pay-to-use" будет с 2015 предоставляться коммерческим структурам.
Записан

Andrey57

  • Оффлайн Оффлайн
  • Сообщений: 9
  • Благодарностей: 1

загружает файлы данных,
какие данные.
выбирает программы обработки, 
Какие программы?
Как то все абстрактно объясняете, можно конкретики? Если я любитель астрофото что и как я смогу получить, сделать, обработать...
Вот есть куча исходников что дальше?

Я исходил из практики работы Олега Брызгалова со своими снимками. Первый этап - съемка (данные) , второй этап обработка(используемые программы) . Дальше зависит от фантазии повторного использования изображений (данные). Для второго и  последующих этапов где необходимы вычислительные ресурсы, банки данных может с успехом использоваться эта инфраструктура. Все что Вы делаете сейчас каждый из вас в отдельности у себя дома, можете делать совместно на едином портале и на чужих вычислительных ресурсах.
Записан

MAKsutik

  • Оффлайн Оффлайн
  • Сообщений: 4707
  • Благодарностей: 249
  • Ищи на третьей планете.
    • Project EQDrive

Ну опять все размыто и не понятно. Поймите меня правильно, хочу конкретики, а не фантастических рассказов.
второй этап обработка(используемые программы)
Какие программы? назвать можете конкретно какие программы для обработки?
Как удаленно это будет обрабатываться?
Спрашиваю не от того что бы вас достать, поймите правильно. Есть интерес но весь смысл как и что происходит уловить не могу.
« Последнее редактирование: 27 Августа 2014, 16:40:03 от MAKsutik »
Записан



mnn72

  • Оффлайн Оффлайн
  • Сообщений: 5171
  • Благодарностей: 392
  • Astromouse
    • Astromouse

...
Какие программы? назвать можете конкретно какие программы для обработки?
Как удаленно это будет обрабатываться?
Спрашиваю не от того что бы вас достать, поймите правильно. Есть интерес но весь смысл как и что происходит уловить не могу.
Вот именно. Для простых людей на примере, ато как политики наши - все виртуально и никакой конкретики. Вот я в упор не понимаю какая разница между тем что я держу свои исходники у себя на компе или где-то в сети.
Записан
Обсерватория: Ananjev (L33, IAU); AAVSO: MNIC
Открыто: 61 переменных, 10 сверхновых; Подтверждения: 9 астероидов, 3 кометы.

MAKsutik

  • Оффлайн Оффлайн
  • Сообщений: 4707
  • Благодарностей: 249
  • Ищи на третьей планете.
    • Project EQDrive

Коля да кая разница где держать, хоть в банке. Вопрос как обрабатывать, какой софт, как это происходит, удаленый раб. стол, через какую то программу.
Записан



Олег Малий

  • Оффлайн Оффлайн
  • Сообщений: 2182
  • Благодарностей: 433

Например, я обрабатываю астрономические данные от телескопов ESO.
Для этого использую домашний компьютер на платформе 2011 с 6-ти ядерным процессором Intel Core i7-3930K @ 3.20GHz и оперативной памятью 64Гб.

В последнем из больших проектов, пришлось обрабатывать 1741 экспозицию, чтобы в результате получить три финальных FITS для каналов RGB.
Каждая из 1741 экспозиций состоит из 8 фрагментов, что означает необходимость обработки 13928 отдельных фрагментов с последующим созданием трёх ч/б мозаик.

Компьютер в этом проекте был загружен весьма хорошо.

Обработка проводилась в THELI GUI http://www.astro.uni-bonn.de/theli/gui/index.html
Записан
Скачиваем и тестируем дистрибутив Ubuntu Astronomy

MAKsutik

  • Оффлайн Оффлайн
  • Сообщений: 4707
  • Благодарностей: 249
  • Ищи на третьей планете.
    • Project EQDrive

Олег я все понимаю, я спрашиваю как это будет притом пошагово.
 Абстрактно я понимаю  ;D сылками не нужно кидаться, на пальцах желательно.
Записан



LifeIsGood

  • Клуб Астрополис, Модератор
  • Оффлайн Оффлайн
  • Сообщений: 4955
  • Благодарностей: 260

Наверное предлагается что-то типа Amazon EC2, когда дается доступ к Линукс машине и какое-то количество места на диске, ядер процессора/процессорного времени. Далее работаешь как с удаленным рабочим столом.
Такая схема, наверное, интересна для разного рода хорошо распараллеливаемых научных вычсилений, но для обработки астрофото в астрофотолюбиительском сегменте перспективы туманны. Так как передавать сотни мегабайт картинок для проведения обработки на облаке довольно неудобно. И в тоже время вычислительные способности самых простеньких ноутбуков позволяют обрабатывать эти самые сотни мегабайт в разумное время.

Говоря просто. В нашем случае пропускные способности каналов дороже процессорного времени. И обычного бытового компьютера вполне хватает для обработки любых разумных изображений.
Записан

tlgleonid

  • Клуб Астрополис, Модератор
  • Оффлайн Оффлайн
  • Сообщений: 6618
  • Благодарностей: 404

Пока не очень разобрался, но мне кажется, что идею можно использовать для поиска и исследования переменных звезд.
Ведь как ищут переменные звезды? Снимают какой-то участок неба с какой-то периодичностью и потом по сотням и тысячам кадров ищут, какие из звезд меняют яркость (с помощью той же Мунивин). Если бы любители выгружали свои фотки в облако, можно было бы искать переменки по снимкам разных любителей и увеличить вероятность обнаружения новых переменок, особенно если переменность нестабильная (всякие вспыхивающие и т.п.)
Записан
Задокументировано наблюдение  >1500 Deepsky объектов.
ТАЛ75R, GSO 6" 1:4 +HEQ5Pro SynScan+Canon1000D+QHY6+фильтры R,V+Юпитер21М+QHY5, 265мм и 415 мм Добсоны HandMade+o3+hb+uhc+...
FAQ по любительской астрономии

Andrey57

  • Оффлайн Оффлайн
  • Сообщений: 9
  • Благодарностей: 1

Коля да кая разница где держать, хоть в банке. Вопрос как обрабатывать, какой софт, как это происходит, удаленый раб. стол, через какую то программу.
Господа! Я не астрофотограф, поэтому какие программы Вы используете в своем сообществе и какие хотите  мне сложно сказать. Как правило все такие программы должны быть с открытым кодом, не взломанные. :) Если Вы сможете сформулировать свои потребности, то можно через этот конкурс привлечь IT шников для создания или развитие существующего открытого кода. Среди потенциальных  заинтересованных лиц для создание домена должны быть наиболее грамотные пользователи - определить требования к программам, создатели открытого кода и те кто сопровождают и поддерживают в грид инфраструктуре. Ресурсы могут быть любые свободные в нужный момент ( по всей Европе), при необходимости могут использоваться и суперкомпьютер. (стандартній ресурсный центр в Грид от 100 до 1000 ядер, в Украине 100-300). Доступ для зарегистрированных  участников Национальных грид инфраструктур (сертификат обновляется раз в год.) удаленный, клиентская программа если развитый домен, то как в Windows, если не развитая при експериментах то коды линукса (для SSH).
Записан

LifeIsGood

  • Клуб Астрополис, Модератор
  • Оффлайн Оффлайн
  • Сообщений: 4955
  • Благодарностей: 260

Разговор чем то напомнил юмореску.
А что у вас есть?
А что вам надо?

Записан
Сказали спасибо