教育资源库云存储平台解决方案

教育资源库云存储平台解决方案

一、项目需求分析

全市共有1000所学校和教育机构，目前计划建立一套统一的教育资源管理数据库。该教育资源数据库将集中存储现有教育教学各类课材资源和教育应用系统数据库数据，包括门户网站、内置网站集群管理功能以及各校的网站数据库，各校的资源库数据，主要包括课件、题库、教案的文本数据，等等。

目前各校的资源库所占据的数据量在5000GB~6000GB，并且数据量是逐年递增。

容量需求

根据目前各学校等教育机构的数据存储和增长情况，估计总数据量在600TB，考虑3年内数据量的递增性，规划为1800TB，按照至少1:1备份，实际容量需求为3600TB，本次规划总容量为3000TB。

吞吐率需求(吞吐率在性能测试中指单位时间内在网络上传输的数据量。是衡量网络性能的主要指标。)

按照项目网络规划，各学校连接到教育资源库平台带宽为100M~200M，区教育局的总出口带宽3000~4000MB以上，因此要求云存储系统的总吞吐率至少要保证3000M的应用需求。

可靠性需求

在存储平台上除了存储各校的教学资源外，还部署有应用服务数据库，该数据库支撑各个学校门户网站的建设，提供教研平台、VOD点播、资源库以及数字图书馆等服务，因此在设计上必须保证存储系

统的安全可靠性，要保证系统7×24小时全天候的不间断运行，提供可靠的服务。

扩展性需求

根据业务应用的发展，未来可能会面临扩展性的需求，这就要求系统的设计具有前瞻性，保证所采用的架构是可扩展的，并且在系统规模扩展的过程中，系统对外服务不中断。

二、系统方案

总体设计思想

根据建设的需要，拟采用云存储平台对数据进行统一集中的管理，通过分布式云平台的高可靠容错来对外提供稳定可靠的服务，同时依托分布式的云存储节点对外提供高速的存储访问服务。并且，基于分布式架构的云存储平台，具有在线伸缩规模的能力，为系统的扩展提供良好的支撑。

系统总体架构

云存储资源管理系统部署示意图

架构描述

采用云存储系统构建本次云平台的基本数据存储平台，其具体描述如下：

基本存储采用分布式云存储平台，该平台对上层应用服务器（包括文件服务器、网站服务器、数据库服务器等）提供容量支撑，通过

客户端可以将存储容量映射成本地磁盘（Windows系统）或者挂载到本地目录（Linux/Unix系统）；

用户通过文件服务器，如FTP、NFS等服务器访问云存储，也可以通过客户端直接访问云存储系统（需要保证用户PC能够与所有节点网络互通），系统支持用户配额和权限控制；

云存储系统主要用来存储课件、教学视频等海量的非结构化数据；

采用主备双机热备的容错方式搭建数据库服务器，数据库中所涉及到的非结构化数据，如图片、视频、文档等，迁移至云存储系统中进行存储；数据迁移后，原有的系统，如网站服务系统、视频点播服务系统等，对数据的访问方式不变。

应用方案

提供资源形式的全面支撑

1、全面支持现有市面主流媒资格式的全支持。有效解决之前不同流媒体格式资源需要构建多系统多平台进行使用管理的缺陷，能便利的在同一平台内实现资源的上传、维护和管理，客户端可以简便快速的实现对资源的统一在线浏览访问和查阅使用，为学校各种资源的浏览、查询、使用提供个性化的支撑平台。

2、全面支持PPT\\WORD\\PDF等文档和图片等非流媒体资源形式在资源门户平台上的统一存储、管理和在线浏览、使用，丰富门户的媒资格式。

3、提供院校已有资源、教职自建资源、学员分享资源的统一使用平台和吸纳手段，极大丰富媒体资源的来源途径和资源数量，通过相应激励机制，有效激发资源创造和传播使用的热情。

4、对于跨区间跨部门的音视频活动资源提供统一的播转和过程录制存储，形成资源素材。 丰富资源管理和使用手段

1、支持资源门户系统的模板化管理，支持资源种类、栏目结构、资源使用权限的灵活自定义。

2、系统应该能够允许管理员自定义元数据和资源类型的定义，为不同的视频、音频、文档、图片等提供不同的元数据描述，方便资源的管理后期扩展。

3、能对资源的上载、使用、下载、修改等内容进行有效的统计跟踪，可以定期导出资源统计报表，为资源录入和使用情况提供辅助依据。

4、教育教学资源与娱乐影音内容可以实现相对独立的同库不同站点管理。实现对于两种资源的区格显示和分站点访问。

5、针对资源可以实现看点标注、打点拆条、分段下载、高标清切换、流媒体视频与非流媒体文档的关联播放等功能。

6、实现对资源单个、批量上传管理，并可简便的对资源介绍信息进行编辑预置，可平台资源质量进行的评价、打分、留言咨询等。 完善教职部门和用户权限管理

1、系统提供丰富的用户权限、角色、群组、属性自定义和管理。可以定义用户的浏览、下载、上传、访问权限。

2、可以定义部门组织架构的树形结构管理，定义用户与组织架构的隶属关系管理。

3、可根据IP段，对用户进行访问权限的统一管理，可设定用户IP区域，设置系统区域，以及与用户区域对应关系。

4、对用户上传资源量、使用情况，访问行为进行全面监控统计。 授课、教学过程实时直播、录制

根据授课方式的不同系统提供单画面、双面、三画面的同步教学过程直播，既可以采集授课电脑屏幕VGA画面，又可以采集现场摄像机视频，并可以根据需要将两者在学员统一播放窗口呈现，学员可根据自身远程听课需要，任意调整各视频窗口位置、画中画、窗口大小

等设置。可以同步录制成多画面课件文件存储到资源服务器，形成课件资源，供后续在线学习、访问。同时系统可对接录播系统，实现大并发量的同步在线观看，弥补录播系统对于在线人数支撑能力的不足。

活动、会议现场的直播、录制

系统可以安置在会议现场、汇演现场、运动会场等环境，全面支持模拟摄像机、网络摄像机、导播、切播设备的信号接入，实时提供现场的音、视频图像的直播发布，为不在现场的用户提供实时的在线观看，身临其境；同时利用系统自带的时移功能，对错过的部分直播内容或精彩画面进行实时在线回顾浏览，无需等待直播结束再去翻看录像。系统支持大量并发用户的同时在线访问，支持分布式活动的现场直播，直播地点可以在网络所及的任何地方。 多媒体教学辅助

平台可同时支持电脑、电视、动终端（Pad和Phone）共享资源、统一管理资源，可在校园网、互联网所及的PC终端、电视大屏、移动终端等随时观看教学资源，上课过程中授课教师可随时通过网络调取所需要辅助课件资源。实现资源对教育教学活动的有效辅助，满足的教育教学资源访问的灵活性要求。 校（区）际资源云共享

通过系统WebCDN云技术，实现跨学校、跨校区资源的共享与交换。各校区、校际建立自己独立的资源平台，实现个性化的资源管理、站点应用。同时将个平台进行互联互通，实现实时直播视频、系统固有

资源的互相级联、推送、分享。丰富全网内容，节约网络带宽及服务器资源。

系统优势和特点

云存储系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加值部分，可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领域）。该系统相比传统存储系统有如下技术优势：

高度可靠

存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。

云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。

优异性能

采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。

同时，采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。

无限容量

系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为1024×1024×1024 PB (1G个PB容量)。

在线伸缩

云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。

通用易用

云存储系统提供符合POSIX标准的通用文件系统接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。同时，也提供专用的API接口，供开发人员调用。

智能管理

提供基于WEB的管理控制平台，所有的管理工作均由管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对中的所有节点实行实时监控，用户通过监控界面可

以清楚地了解到每一个节点和磁盘的运行情况；同时也可以实现对文件级别的系统监控，支持损坏文件的查找和修复功能。系统提供用户安全认证及对不同用户进行配额设置与权限管理功能，满足应用的日常维护和安全管理需求。

将各类文档资源进行统一转码，用户查阅文档时可直接在线查阅，不用下载到本地查看，极大地方便了用户的使用；将各类音视频进行统一转码，实现了视频课堂等视频的在线点播，系统还具有强大的检索功能，可以根据多种条件查找。

三、客户受益

优异的性能

采用控制流与数据流分离的技术，数据的存储或读取是与各个存储节点上并行读写，随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。同时，采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。

更高的可靠性

任意节点宕机，系统不停止服务；任意硬盘、网卡等部件损坏，不影响系统服务，系统能够自动容错，将数据分散在各个节点上，不会出现丢失数据的现象。任务处理过程中，节点宕机，任务自动切换并保留现有进度，保障任务继续执行下去。

更方便的管理

提供基于WEB的管理控制平台，所有的管理工作均由管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况；同时也可以实现对文件级别的系统监控，支持损坏文件的查找和修复功能。系统提供用户安全认证及对不同用户进行配额设置与权限管理功能，满足应用的日常维护和安全管理需求。

优异的扩展性

在数据量和处理要求不断提高的实时业务中，平台扩容十分便捷，在不停机的情况下，添加节点或一体机数量，平台的存储及处理能力自动增加；随着业务内容需求的提升，仅需对分批对平台内设备的软件进行升级，平台服务不会中断。

降低成本

在数据量和处理要求不断提高的实时业务中，平台扩容十分便捷，在不停机的情况下，添加节点或一体机数量，平台的存储及处理能力自动增加；随着业务内容需求的提升，仅需对分批对平台内设备的软件进行升级，平台服务不会中断。

降低初期软硬件投入成本的同时降低能耗，以及长期管理和维护的成本。