EGEE is a project funded by the European Union under contract IST-2003-508833

Introduction to the EGEE project

V. Korenkov (JINR, Dubna, PCB member)

www.eu-egee.org

NA3 Induction Courses in the Dubna Conference June 28, 2004

План лекции

• Краткий обзор GRID-проектов

• Основные цели и задачи проекта EGEE

• Организационная структура

• Участники

• Направления работ

• Участие России в проекте EGEE

• Задачи консорциума RDIG-EGEE

• Заключение

Некоторые Grid Проекты

Name URL/Sponsor Focus

Globus™ globus.orgDARPA, DOE, NSF, NASA,

Исследование в области Grid технологий; Globus Toolkit™

EU DataGrid www.eu-datagrid.org

European UnionСоздание Grid для приложений в области Физики Высоких Энергий, Биоинформатики и ООС.

EU DataTAG www.datatag.org Interoperability between European and US Grids

CrossGrid www.crossgrid.org European Union

Создание и тестирование GRID-приложений

EGEE (Enabling Grids for E-science in Europe)

www.eu-egee.org

European UnionСоздание европейского GRID для науки и высоких технологий

LCG (LHC Computing GRID)

www.cern.ch/lcg Создание глобальной системы для экспериментов на LHC

Некоторые Grid Проекты

Name URL/Sponsor Focus

Grid Physics Network griphyn.org

NSF

Cоздание технологий для анализа данных в физике: ATLAS, CMS, LIGO, SDSS

International Virtual Data Grid Laboratory

ivdgl.org

NSF

Создание международной Grid для экспериментов над технологиями и приложениями

TeraGrid teragrid.org

NSF

Научная инфраструктура в США, связывающая 4 организации 40 Gb/s

Particle Physics Data Grid

ppdg.net

DOE Science

Создание Grid для анализа данных в Физике Высоких Энергий и Ядерной физике

Цель и структура проекта EDG

Цель – совершить принципиально важный шаг на пути к реализации концепции

GRID, выражающийся в создании опытной вычислительной инфраструктуры, способной предоставить европейскому научному сообществу возможность совместного использования данных и вычислительных ресурсов.

The EDG collaboration is structured in 12 Work Packages WP1: Work Load Management System WP2: Data Management WP3: Grid Monitoring / Grid Information Systems WP4: Fabric Management WP5: Storage Element WP6: Testbed and demonstrators WP7: Network Monitoring WP8: High Energy Physics Applications WP9: Earth Observation WP10: Biology WP11: Dissemination WP12: Management

}} ApplicationsApplications

EU DataGrid Architecture

Collective ServicesCollective ServicesInformation

& MonitoringInformation

& MonitoringReplica

ManagerReplica

Manager

Grid Scheduler

Grid Scheduler

Local ApplicationLocal Application Local DatabaseLocal Database

Underlying Grid ServicesUnderlying Grid Services

Computing Element Services

Computing Element Services

Authorization Authentication & Accounting

Authorization Authentication & Accounting

Replica CatalogReplica Catalog

Storage Element Services

Storage Element Services

Database Services

Database Services

Fabric servicesFabric services

ConfigurationManagement

ConfigurationManagement

Node Installation &Management

Node Installation &Management

Monitoringand Fault Tolerance

Monitoringand Fault Tolerance

Resource Management

Resource Management

Fabric StorageManagement

Fabric StorageManagement

Grid

Fabric

Local ComputingGrid

Grid Application LayerGrid Application LayerData

ManagementData

ManagementJob

ManagementJob

ManagementMetadata

ManagementMetadata

ManagementObject to

File Mapping

Object to File

Mapping

Logging & Book-

keeping

Logging & Book-

keeping

Участие российских центров в проекте EU DataGRID

Участники:

НИИЯФ МГУ, НИВЦ МГУ, ИТЭФ, ИПМ им. Келдыша, ИФВЭ (Протвино), ОИЯИ (Дубна), ПИЯФ (Гатчина), ТЦ «Наука и общество»

Пакеты WP6, WP8, WP10Основные результаты:

• Создана информационная служба GRIS-GIIS • Создан сертификационный центр (Certification authority, СА) • Создание распределенных хранилищ данных (GDMP, CASTOR, SRB) • Развитие средств Monitoring and Fault Tolerance• Развитие программного продукта Metadispetcher • Участие в сеансах массовой генерации событий для экспериментов на

LHC

Главный результат - получение опыта работы с новейшим программным обеспечением GRID, включение российского сегмента в европейскую инфраструктуру EU DataGRID

CMSATLAS

LHCbLHCbALICE

При ожидаемой скорости записи сырых данных потребуются ресурсы для хранения данных порядка десятков и сотен ПБ.

Для обработки данных потребуются сотни тысяч персональных компьютеров (максимальной на текущий момент производительности)

Эксперименты на LHC

MONARC project

regional group

CERNTier3physics

department

Desktop

Germany

UK

France

Italy

CERN Tier1

USA

Tier1

The opportunity ofGrid technology

Tier2

Uni a

Lab c

Uni n

Lab m

Lab b

Uni bUni y

Uni x

Russia

LHC Computing Model2001 - evolving

Обработка данных и вычисления в физике высоких энергий

интерактивный физический анализ

Подготовка данных

для анализа

Подготовка данных

для анализа

детектор

суммарные данные по событиям

«сырые»данные

Реконструкция событий

Реконструкция событий

моделированиефизических

событий

моделированиефизических

событий

объекты для физического анализа(выделенные по физическим каналам)

Отбор событийи первичная

реконструкция

Отбор событийи первичная

реконструкция

обработанныеданные

Триггер 1-го уровня

Renovation of thecomputer rooms

CPU servers

Disk servers

Tape silos and servers

2.5 MW Power

Preparing the Tier 0+1computer centre

LHC Computing Grid Project (LCG)LHC Computing Grid Project (LCG)

• Основной задачей проекта LCG является создание глобальной инфраструктуры региональных центров для обработки, хранения и анализа данных физических экспериментов LHC.

• Новейшие технологии GRID являются основой построения этой инфраструктуры.

Проект LCG осуществляется в две фазы.

• 1 фаза (2002-2005 гг.) - создание прототипа и разработка проекта системы (LCG TDR).

• 2 фаза (2005-2007 гг.) - создание инфраструктуры LCG, готовой к обработке, хранению и анализу данных на момент начала работы ускорителя в 2007 году.

• Сертификация и распределение процессов установлена • Middleware package – components from –

European DataGrid (EDG) US (Globus, Condor, PPDG, GriPhyN) & the Virtual Data Toolkit

• Достигнуто соглашение о принципах регистрации и безопасности • Rutherford Lab (UK) становится Grid Operations Centre• FZK (Karlsruhe) становится Call Centre

• “Сертификация” доступна в 14 центрах

Academia Sinica Taipei, BNL, CERN, CNAF, Cyfronet Cracow, FNAL, FZK, IN2P3 Lyon, KFKI Budapest, Moscow State Univ., Prague, PIC Barcelona, RAL, Univ. Tokyo

LCG LCG Service

LHC Computing Grid (LCG)

Цель и задачи проекта EGEE

• Цель проекта EGEE – объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований.

• EGEE предоставит исследователям круглосуточный доступ к вычислительным ресурсам независимо от их географического положения. Пользоваться инфраструктурой смогут сообщества исследователей, которые готовы объединить свои собственные вычислительные инфраструктуры и согласны с принципами общего доступа.

• Проект поддерживают, в основном, финансирующие учреждения ЕС, но предназначен он для работы во всём мире. Значительные средства поступают от США, России и других участников проекта, не входящих в ЕС.

Ключевые направления проекта:- формирование согласованной, устойчивой и защищённой вычислительной сети;

- совершенствование программных средств middleware с целью обеспечения надежного обслуживания пользователей;

- привлечение новых пользователей из других сфер деятельности и обеспечение им высокого стандарта обучения и поддержки.

EGEE и другие GRID - проекты

Какое отношение имеет EGEE к существующим гридам и исследовательским сетям?

Инфраструктура EGEE будет построена на исследовательской сети Европейского союза (ЕС) GEANT и в ней будет использован опыт, накопленный в таких проектах, как DataGrid, Datatag, Crossgrid, поддержанных ЕС, в национальных проектах, например, e-Science (Британия), INFN Grid, Nordugrid и американском Trillium. Она обеспечит возможность совместной работы с другими системами во всём мире, включая США и Азию, что будет способствовать установлению всемирной GRID-инфраструктуры.

Функциональность проекта EGEE

• Упрощённый доступ. EGEE уменьшит издержки, связанные с разнообразием не связанных между собой систем учёта пользователей. Пользователи смогут объединяться в виртуальные организации с доступом к grid – инфраструктуре, содержащей нужные каждому пользователю рабочие ресурсы.

• Выполнение вычислений по требованию. Эффективно распределяя ресурсы, grid-технологии значительно сокращает время

ожидания доступа к ним.• Географически распределённый доступ. Инфраструктура будет доступна отовсюду, где обеспечена хороший доступ к сети.

Ресурсы становятся широко доступными.• Исключительно большой объём ресурсов. Благодаря согласованности ресурсов и пользовательских групп, в прикладной

работе в рамках EGEE будут доступны ресурсы таких объёмов, какие не может предоставить ни один компьютерный центр.

• Совместное использование программного обеспечения и данных. Благодаря единой структуре вычислительных средств, в EGEE пользователям будет легко совместно использовать программное обеспечение и базы данных и разрабатывать программное обеспечение.

• Высокий уровень поддержки приложений. Компетентность всех участников EGEE обеспечит тщательную, всестороннюю

поддержку всех основных приложений.

EGEE Partner Federations

11 Federations, 27 Countries, 70 Organizations

EGEE Timeline

EU budget of 32M€ over 2 years • April 2004: start project

EGEE Activities

JRA1: Middleware Engineering and Integration

JRA2: Quality Assurance

JRA3: Security

JRA4: Network Services Development

SA1: Grid Operations, Support and Management

SA2: Network Resource Provision

NA1: Management

NA2: Dissemination and Outreach

NA3: User Training and Education

NA4: Application Identification and Support

NA5: Policy and International Cooperation

24% Joint Research 28% Networking

48% ServicesEmphasis in EGEE is on operating a productiongrid and supporting the end-users

Starts 1st April 2004 for 2 years (1st phase) with EU funding of ~32M€

Distribution of Service Activities over Europe: • Operations Management at CERN; • Core Infrastructure Centres in the UK, France, Italy, Russia (PM12) and at CERN, responsible for managing the overall Grid infrastructure;• Regional Operations Centres, responsible for coordinating regional resources, regional deployment and support of services.

Russia: CIC – SINP MSU, RRC KI, JINR ROC – IHEP, ITEP, PNPI, IMPB RAS Dissemination&Outreach – JINR, KIAM RAS

Distribution of Service Activities over Europe

Federating Worldwide Resources for the LHC

Участие России в проекте EGEE

• В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности.

• Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).

Russian Data Intensive GRID (RDIG) Consortium EGEE Federation

• ИФВЭ (Институт физики высоких энергий, Протвино) – Петухов В.А.

• ИМПБ (Институт математических проблем биологии, Пущино) – Лахно В.Д.

• ИТЭФ (Институт теоретической и экспериментальной физики) – Гаврилов В.Б.

• ОИЯИ (Объединенный институт ядерных исследований, Дубна) – Кореньков В.В.

• ИПМ (Институт прикладной математики) – Корягин Д.А.• ПИЯФ (Петербургский институт ядерной физики, Гатчина) –

Рябов Ю.Ф.• ИАЭ (Институт атомной энергии) – Солдатов А.А.• НИИЯФ МГУ (Научно-исследовательский институт ядерной

физики МГУ) – Ильин В.А.

Russian Contribution to EGEE

RDIG as an operational and functional part of EGEE infrastructure (CIC, ROC, RC).

Activities:

SA1 - European Grid Operations, Support and Management (A.Kryukov, Y.Lazin)

SA2 – Network Resource Provision (V.Dobrecov)

NA2 – Dissemination and Outreach (T.Strizh)

NA3 – User Training and Induction (E.Slabospitskaya)

NA4 - Application Identification and Support (E.Tikhonenko)

ACTIVITIES DEFINITIONS

NA2 - Dissemination and OutreachOperate the dissemination Web site, support mail lists and Web base collaborative

tools, organize presentations, visits, 2 project conferences and showcases per year, publication of dissemination material.

NA3 – User Training and InductionProduce training and course material. Deliver on-site courses and support distributed

courses in the project. NA4 – Application Identification and supportSupport HEP and Bio pilot applications. Identify early users. Introduction of new user

communities. Definition of common application interfaces and tools. Creation of an Industry Forum.

SA1 – European Grid Support, Operation and ManagementCore infrastructure services. Grid monitoring and control. Middleware deployment and

resource induction. Resource and user support. Grid management. SA2 – Network Resource ProvisionDefinition in collaboration with RN Geant and NRENs of SLRs, Modeling, SLSs,

SLAs, Policies.

Портал WWW.EGEE-RDIG.RU

• Для информационной поддержки данного проекта разрабатывается портал www.egee-rdig.ru. Данная система представляет собой комплекс web сайтов и баз данных для создания и поддержки единого информационного пространства в рамках проекта EGEE RDIG. Портал предоставляет возможность разграничения информации по уровню доступа (информационная часть) и систему управления материалами и ролями. В информационной часть предоставляет данные структурированные по

следующим разделам: – мероприятия (встречи, семинары), календарь событий, репозиторий документов, конференции, разделы с описаниями задач организаций, в которых принимает участие Россия

• Система управления материалами и ролями предоставляет возможность управления пользователями, новостями, документами, календарем событий и листами рассылки.

• Пользовательский интерфейс информационной системы представляет собой набор динамических и статических гипертекстовых документов. Часть системы поддерживается авторизированными персонами через специальные интерфейсы.

• Проект реализуется на web сервере Apache 2 с использованием СУБД Oracle и php – Personal Home Page.

Российский региональный центр: the DataGrid cloud

PNPI

IHEP

RRC KI

ITEP

JINR

SINP MSU

RRC-LHC

LCG Tier1/Tier2cloud

CERN

…

Gbits/s

FZK

Regional connectivity:

cloud backbone – Gbit’s/s

to labs – 100–1000 Mbit/s

Collaborative centers

Tier2cluster

GRID access

Useful References:

• GLOBAL GRID FORUM: //www.gridforum.org• European GRID FORUM: //www.egrid.org • PPDG: //www.ppdg.org • IVDGL: //www.ivdgl.org• EU DATAGRID: //www.eu-datagrid.org• DATATAG: //www.datatag.org• GLOBUS: //www.globus.org• GriPhyn: //www.griphyn.org• CrossGRID: //www.crossgrid.org • Condor: //www.cs.wisc.edu/condor • TERAGRID: //www.teragrid.org• EGEE: //www.eu-egee.org• EGEE-RDIG: //www.egee-rdig.ru• LCG: //lcg.web.cern.ch/LCG/