维普资讯 http://www.cqvip.com 网格:I nternet的未来 沈波 南京210003) 纪其进 (东南大学计算机科学与工程系南京210096) (南京邮电学院网络技术研究中心摘要网格技术是国际上一个崭新的研究方向,它的目标是将网络中的超级计算机、存储系统、数据 资源和特殊类型的设备等地理上分散的资源集合在一起,成为一台虚拟的超级计算机,并且为用户提供 透明的服务。本文首先研究了网格的基本概念,接下来分析了网格研究要解决的技术问题,在此基础上 描述了一个重要的网格体系结构,然后给出了现阶段网格的一些应用,最后我们总结全文并对网格发展 的未来作了展望。 关键词网格体系结构应用 1引言 格研究要解决的技术问题,在此基础上描述了一个 重要的网格体系结构,然后给出了现阶段网格的一 摩尔定律表明计算机的性能价格比每18个月 些应用,最后我们总结全文并对网格发展的未来作 将翻一番,网络的传输速度的提高更是此速度的两 了展望。 倍。然而,在科学、工程和商业领域仍然存在着用 现代的超级计算机无法高效解决的问题。这些问题 往往规模很大并且高度复杂,有非常大量的数据需 2 网格的基本概念 为了充分利用现有计算能力和网络条件,人们 要处理;且解决这些问题需要很多不同种类的资 设想利用高速网络将连接在网络上的地理上分布的 源,而这些资源又无法集成到一台计算机中去。随 各种高性能设备和资源整合起来形成强大的计算能 着因特网日益普及,高性能计算机以及高速网络正 力。网格正是在这种需求的推动下应运而生。 网格的概念来源于美国联邦政府过去10年来 在成为日常生活的一部分,这一切正在改变我们现 在使用计算机的方式。 “网络就是计算机”的口号 资助的高性能计算项目,其目标是将跨地域的多台 引导人们不断探索,将计算机网络作为一个统一的 高性能计算机、大型数据库、贵重科研设备、通信 计算资源来使用的梦想已不再遥远。我们已经有可 设备、可视化设备和各种传感器整合成一个巨大的 能将网络中的超级计算机、存储系统、数据资源和 超级计算机系统,支持科学计算和科学研究。早期 特殊类型的设备等地理上分散的资源集合在一起, 还使用过另一个名词——“元计算”(Metacomput- 作为统一的资源使用,新兴的网格计算(Grid ing)。术语“网格”形成于20世纪90年代中期, Computation)技术正在试图实现这一愿望。 表示一种用于高级科学研究和工程应用的分布式计 美国《Forbes ASAP))杂志曾经发表了一组文 算基础设施。但现在它的应用已经远远超出了当初 章,预告了网格技术的前景。文章指出2004~2005 的设想,有很多应用可以从网格技术中受益,如合 年将出现信息技术的下一波大浪潮,其本质特征就 作工程、数据挖掘、大数据量计算等。 是万维网(World Wide Web)升级为网格(Great 万维网被人们认为是现阶段因特网上占据主导 Global Grid)。网格在国内还是一个相当新的概念, 地位的应用(KiHed Application)。通过Web服务, 本文首先研究了网格的基本概念,接下来分析了网 人们可以访问世界上任何一个位置的网站。但人们 国数据渣借2g1 ̄2. 维普资讯 http://www.cqvip.com 在万维网上只能比较方便地获得数据资源,而很难 的、集成的计算和协作环境。与传统的分布式计算 一种互补关系而非对立。例如,现存企业分布计算 从功能上来说,网格可划分为两个逻辑层面: 直接利用服务器的计算能力。网格是一种无缝连接 系统可利用网格技术获得跨组织范围的资源共享。 不同,网格计算更致力于大范围内高性能的资源共 计算网格(Computational Grid)与接入网格(Ac- 享,应用创新。 cess Grid o利用计算网格,科学家们可以访问理论 促使网格概念产生的真正问题是在由多个公共 上无限制的计算和数据资源;而接入网格提供了组 机构组成的、状态动态变化的虚拟组织(Virtual 协作的环境。综上所述,我们可以看出网格不仅是 Organization,VO)中如何实现资源共享和协同工 种能够为异常复杂的应用提供计算资源的计算模 作。在一定共享规则下形成的一组个体和(或)团 式,而且还是一种新信息基础设施,它能够把远程 一体的集合称为虚拟组织。在这里,共享不仅是简单 的多种多样的资源集成和统一起来,为需要它们的 的文件交换,且是对计算机、软件、数据以及其他 用户提供便捷的服务。 资源的直接访问,工业、科研与工程领域中出现的 许多协同工作和资源中介策略都对这种共享提出了 需求。这种资源共享必须是高度受控的,资源供应 3网格体系结构 从第一台计算机出现到现在,计算机体系结构 商和用户必须清楚仔细地定义哪些资源可被共享, 已经发生了一系列变化,经历了大规模并行处理系 哪些用户拥有访问权利,共享必须满足哪些条件 统、共享存储型多处理器系统、群集系统等各个发 等。 展阶段,这些系统的共性使构成系统的资源相对集 VO问的目的、范围、规模、生存期、结构、 中。与此相反的是,组成网格系统的资源是广域分 生活环境和社会观念都有很大的不同,但它们还是 散的,不再局限于单台计算机和小规模局域网范围 有很多共同关心的问题和需求。特别是从C/S模式 内。网格计算的最终目标是用网上的多台计算机构 到对等模式的高度灵活的共享关系;对所使用的共 成一台虚拟的超级计算机,因此,网格系统的体系 享资源复杂而精确地控制,包括细粒度(Fine-grained) 结构是我们必须首先解决的问题。换言之,网格系 和多方参与的访问控制和授权以及本地和全局策略 统有哪些组成部分、组成部分之间的关系以及如何 的应用;对不同类型资源的共享,从程序、文件、 协同工作是网格体系结构研究需要解决的问题。 数据到传感器、计算机和网络;变化各异的使用模 为了使网格技术真正步人实用阶段,提供给用 式,从单用户到多用户,从关心性能到关心费用, 户一个无缝的计算环境,有很多关键技术问题需要 可能要考虑服务质量、任务调度、共同分配和计费 解决。网格包括众多的网络资源,这些资源特性不 等多方面内容。当前的分布式计算技术并没有涉及 同,可能分布在网络不同的位置,如何发现和有效 上述的需求。例如,当前的因特网技术致力于计算 管理资源是一个基本问题。网格还需支持异构环 机问通信和信息交互,但不提供用于多个站点间资 境,必需具有良好的扩展性和动态适应性。为了将 源协调使用的集成方法。CORBA和企业级Java等 网络中独立的软、硬件组件集成为统一的网络资 企业分布式计算技术只能提供单个组织内部的资源 共享。总之,当前技术或是不能满足多种共享资源 类型要求,或是不能提供建立VO所需的灵活性及 对共享关系的控制能力。 网格技术为解决上述问题提供了新的思路。在 源,有必要建立中间件向上层提供透明的资源访 问。开发网格的最终目的是为了应用,网格使用模 式解决的是如何使用网格超级计算机的问题。在现 有的操作系统上,计算机用户可以使用各种软件工 具来完成各种任务,而在网格环境下,用户可能需 过去5年内,对网格技术的研究发展,产生了相关 要通过新的方式来利用网格系统资源。因此,在网 的协议、服务和工具,这些技术包括安全性解决方 格中间件的基础上设计开发各种工具,开发并优化 案、资源管理协议和服务、信息查询协议及服务、 利用网络资源的分布式应用软件是网格使用模式研 数据管理服务等。由于网格技术致力于动态的、跨 究需要解决的问题。 组织的资源共享,因此它与现存的分布计算技术是 从上面可以看出,网格的体系结构应该包括几 C 露 DIA Cfo 协 I DC 2徽zⅣ。.1移 维普资讯 http://www.cqvip.com [ 垂 网格的应用接口 的体系结构模型为例来理解网格的系统结构。 Globus的主要研究目标有两个:其一是网格技 [三 三 亘 : j ]网格开发环境和工具 术的研究;其二是相应软件的开发和标准的制定。 同时,Globus项目还涉及到网格应用的开发及试验 床的建立。Globus是以分层的方式构建的,以网际 协议(IP)中的通信、路由、域名解析等功能为基 础,高层全局服务建立在底层本地服务的基础上。 Globus的网格体系结构共分为5层,图2表示了其 层次结构并与因特网的体系结构作了对照。它可以 被视为基于一系列底层服务API的元计算框架,能 够提供应用开发人员实现服务和广域范围的应用执 [二三 垂至 网格中间件 E I三 跨霍组薹织 的网络资源 l网……一格资源 个基本组成部分(如图1):网格资源、网格中间 行环境。Globus实现了一个Toolkit(仍在不断扩充 件、网格的开发环境及工具和网格的应用接口。 网格资源是构成网格系统的硬件基础,它包括 网络上所有分布的、可访问的计算资源,如计算 网格协议体系结构 因特网协议体系结构 和完善)以支撑该体系结构。 机、存储设备、数据库等。这些计算资源通过网络 设备连接起来。网格资源层仅仅实现了计算资源在 物理上的连通,但从逻辑上看,这些资源仍然是孤 立的,资源共享问题仍然没有得到解决。因此,必 须在网格资源层的基础上通过网格中间件层来完成 广域计算资源的有效共享。 网格中间件是指一系列工具和协议软件,其功 能是屏蔽网格资源层中计算资源的分布、异构特 性,向网格应用层提供透明、一致的使用接口。中 间件层提供一系列核心服务,包括远程进程管理, 图2 Globus网格体系结构及与因特网体系结构的关系 资源协调分配,存储接入,信息安全与认证,资源 预留和交易的服务质量保证等。网格中间件层也称 构造层(Fabric)它的功能是向上提供网格中 为网格操作系统(Grid Operating System)。 可供共享的资源,它们是物理或逻辑实体。常用的 网格开发环境和工具提供高层的服务,让开发 资源包括处理能力、存储系统、目录、网格资源、 人员开发不同的应用以及用户代理在全局资源中调 分布式文件系统、分布式计算机池、计算机集群 度计算。 等。Toolkit中相应组件负责探测可用的软硬件资源 网格的应用接口是用户需求的具体体现。开发 的特性、当前负荷、状态等信息,并将其打包供上 人员使用HPC++等网格使能语言以及MPI等消息 层协议调用。 传输机制开发网格应用。网格应用往往需要强大的 连接层(Connectivity)它是网格中网络事务 计算能力,并且要访问远程数据集以及与科学仪器 处理通信与授权控制的核心协议。构造层提交的各 进行交互。该层也提供网格人口(Grid Portals),支持 种资源间的数据交换都在这一层的控制下实现。各 Web方式访问远程资源。 资源间的授权验证、安全控制也在这里实现。在 全世界范围内网格研究的项目很多,美国的 Toolkit中,相应组件采用基于公钥的网格安全基础 Globus、Legion、WebFlow,澳大利亚的Nimrod/G, (GSI)协议。在此协议中提供一次登录、委托授 罱 亚洲的Ninf,欧洲的UNICORE等都是其中很著名 权、局域安全方案整合、基于用户的信任关系等功 的研究项目。下面我们以Globus项目提出的网格 能。资源间的数据交换通过传输、路由及名字解析 审国鼗毋渣信 抛.1穆 维普资讯 http://www.cqvip.com 机结合在一起形成强大的计算资源。将来,随着网 资源层(Resource)这一层的作用是对单个资源 络性能以及网格技术的发展,集成资源计算所能处 实施控制,与可用资源进行安全握手、对资源做初 理的问题范围将更广阔。 始化、监测资源运行状况、统计与付费有关的资源 大规模数据分析:许多有趣的科学问题需要 使用数据。在Toolkit中有一系列组件用来实现资源 对大量数据进行分析。对于这些问题,利用分布的 注册、资源分配和资源监视。Toolkit还在这一层定 计算和存储资源显然很有价值。此外,许多数据分 实现。 ・义了客户端的C、Java的API和SDK。 析过程并行特性使得高效的使用分布资源更为切实 汇聚层(Collective)这层的作用是将资源层提交 可行。例如,在未来高能物理实验中需要上万的处 的受控资源汇聚在一起,供虚拟组织的应用程序共 理器和数百太字节(terabyte)磁盘空间用以保存中间 享、调用。为了对来自应用的共享进行管理和控 结果。由于不同的技术和政策原因,将这些资源放 制,汇聚层提供目录服务、资源分配、13程安排、 置在同一个地方显然不切实际。然而集中参与该实 资源代理、资源监测诊断、网格启动、负荷控制、 验的上百个组织的资源就能够满足实验的需求。并 账户管理等多种功能。 应用程序。应用程序通过各层的API调用相应的服 且,这些组织除了可以共享计算机和存储器之外, ・ 应用层(Applications)这层是网格上用户的 还可以共享分析过程和计算结果。协同工作:研究人员经常希望将数据和计算 务,再通过服务调用网格上的资源来完成任务。应 能力以及人力都集中起来。合作问题的形式化描 用程序的开发涉及大量库函数。为便于网格应用程 述,数据分析及其他类似问题都是网格技术的重要 应用。例如,进行大型仿真工作的天体物理学家需 序的开发,需要构建支持网格计算的库函数。 在Globus的网格体系结构有很多好的设计思 要全世界的同行能同时以相同的方式将结果用图形 想值得借鉴。目前,Globus体系结构已经为一些大 表示出来,从而研究组能够对结果进行实时地分 型网格应用所采用,且取得了较好的效果。应当指 析。 实际的网格应用将会包括上述的某些方面,但 出,现阶段国际上提出了多种网格体系结构,也各 有瑕瑜,但网格体系结构必须是开放的和可扩展 还有其他的应用场合。可以想象,和因特网一样, 的。技术发展的长期经验告诉人们,固守某一种技 网格不会局限于最初的共享分布式数据和计算资 术,哪怕它曾经很先进和流行,都将是一个昂贵的 源,商业领域将是网格真正的用武之地。错误。 5结论与展望 网格技术是一个崭新的研究方向。网格计算已 4网格的应用 由于网格是一个新的研究领域,对于网格的应 经逐步发展成为一个重要的新研究领域,国际上有 用作准确的预测并不是件容易的事。开发网格的最 很多组织和研究计划致力于网格的开发。与传统的 初目的是为了实现科学计算中心之间的共享和协 分布式计算不同,网格计算更致力于大范围内高性 作。我们这里给出了网格在科学研究领域里的典型 能的资源共享以及应用创新。从本质上说,尽管现 应用。 ・阶段网格研究使用的策略和工具形色各异,但网格 科学研究工具:在安装和使用一个新的软件 技术可以认为是一种中间件技术。网格技术需要解 包时,我们已经习惯于经历一个困难的学习过程。 决对个人、团体、虚拟组织等资源的动态聚合的灵 网格的科学研究工具通过Web浏览器容易得到客 活、安全、协调共享的问题。这一过程中,我们面 户端远程调用相关成熟的程序包,使得高级的问题 临认证、授权、资源访问、资源发现及其他多方面 解决方法很易于使用。在网格中,这些程序包甚至 的技术挑战。 可以在适当的机器上远程运行。这种技术目前正在 我国对网格计算的研究起步较晚,相关工作开 始于1998年。由于网格计算是一项刚起步的研究, 生物学、化学及其他学科中开发。 ・分布式计算:高速工作站和网络可以与PC 因此我们在网格计算关键技术的研究方面与国外差 嬲 肋. 维普资讯 http://www.cqvip.com 鳓 擅 鳓 魏 一鳓 季 元 刘武韬 赵飞龙 (1.南京邮电学院南京210003) (2.陕西省移动通信公司西安710061) 前言 : 在当今信息时代的社会拥有手机的你一定有过 清对方说什么,如此种种,让你望机兴叹。更多的 这样的经历:对方的手机不在服务区或者是关机 时候你到了其他城市,手机通话费、漫游费、长途 距不大,基本处于相同的起跑线上。从1999年底 实现互联网上所有资源的全面连通,包括计算资 到2001年初,中科院计算所联合国内十几家科研 源、存储资源、通信资源、软件资源、信息资源、 单位,共同承担了“863”重点项目——“国家高性 知识资源等。 能计算环境(National High Performance Computing 我们相信,网格技术有潜力显著地改变我们使 Environment,NHPCE)”的研发任务。中国科学院 用计算机解决问题的方式,就如同Web改变了我 计算所所长李国杰院士认为,网格实际上是继传统 们获取信息的方式一样。在将来的某一天,网格技 因特网、Web之后的第三个大浪潮,可以称之为第 术能够让人们像使用电力传输系统一样可靠、便捷 三代因特网。简单地讲,传统因特网实现了计算机 且廉价地访问各种高级的计算和数据资源。 硬件的连通,Web实现了网页的连通,而网格试图 沈’葭 8年生 -k" 江赛靠熟人 南京 电哮挠甄络蔽朱辑梵专心碛缶磺免 生 硪梵秀捐为请翼机鸨络与数辱拣总传 ’ 甚靠至要 萼s ' 蝽多蠊体会 乙邈 槭 冬亩面髓磺莞 耋已奥进 | 舯3冬生,要。安掇呗芄人0鸯、氮夭萼诗萁瓶拽萼造工丧 京、攀 辞请 翼机试铬与榷怎 蔽熏氯安鞋室博士硪莞生 2OO2 年牟韭亍截京邮电津挠穰憋土程畚, 蔽硕士哮住 疑馘王要辑莞竞锅为蒿娃能拽络与协议& 蝽多嫌俸 。 孛国数莠通信∞ .1移