X单位实验室服务器虚拟化二期项目项目标前参数网上公示公告

序号

项目

技术参数

数量

单价

合计

1总体要求：本次超融合一体机采购是对我单位现有超融合集群进行扩容，要求将本次采购的超融合一体机节点整合进现有集群中组成一个统一的资源池；为保证兼容性和可用性，要求提供现有超融合集群生产厂商对本次投标产品出具的兼容性证明并加盖其公章；

2提供国家强制性产品CCC认证;（提供复印件并加盖原厂公章）；

3提供厂家ISO9001质量认证，（提供复印件并加盖原厂公章）；

4提供ISO14001环境认证，（提供复印件并加盖原厂公章）；

5提供OHSA18001职业健康安全管理体系，（提供复印件并加盖原厂公章）；

6提供超融合云软件、备份软件和统一运维管理中心软件的计算机软件著作权登记证书，（提供复印件并加盖原厂公章）；

7提供超融合软件所取得的数据中心联盟可信云认证，（提供复印件并加盖原厂公章）；

8提供推进联盟客户联络中心标准体系CCCS钻石五星级认证证书，（提供复印件并加盖原厂公章）；

9提供原厂软硬件授权和售后服务承诺函并加盖原厂公章；

10提供原厂数据拯救服务官网查询链接和电话服务热线（要求加盖原厂公章）;

11软件类产品★类描述需提供现场演示或软件截图

1

超融合一体机

1、19英寸工业标准2U机架式
2、2颗IntelXeonE5-2600v4，≥14核心，≥2.0GHz主频，≥35MBL3Cache，≥9.6GT/s系统总线频率，≤105W功耗；内存≥512GB2400MHzDDR4ECCRDIMM内存，≥24条扩展插槽，≥1.5TB内存扩展；配置2块2.5寸400GB企业级SSD固态硬盘，6块2.5寸2TB7.2K热插拔SATA硬盘,最大支持12个3.5寸+2.5寸或26个2.5寸或9个3.5+8个2.5寸混插硬盘扩展，可支持PCIeSSD硬盘；SAS/SATARaid卡，支持12GbSAS,支持RAID0,1,5,6,10等RAID级别,支持JBOD模式，≥1GB缓存;≥标配4个千兆以太网控制器，≥标配2个Intel万兆光纤网口（须满配SFP+光纤模块）,1个独享的管理端口；1+1冗余电源，≤750W，80+铂金标准，支持交直流兼容(AC/DC)；支持5+1冗余热插拔系统风扇；扩展槽最大支持8个PCIe3.0,4个USB接口，1个串口,2个VGA接口
3、标配前置故障诊断模块，可实现对CPU/内存/硬盘/网卡/风扇/温度/电源等关键部件的故障诊断
4、融合架构：虚拟化计算和存储服务运行在相同的服务器设备上，不需要单独的SAN设备；
5、★支持不同型号、不同厂商的计算存储服务器一体设备的混用；支持Raid卡使用，支持SLC&eMLCSSD、NVMeSSD、FusionIO等不同设备进行高速动态数据缓存

6、★具备自动发现新增节点，自动将新节点加入现有存储集群，实现集群无缝扩展，不中断业务正常运行，可平滑扩展到几十甚至上百个节点，实现真正大规模部署的功能；
7、★具备分布式文件系统功能：如通过软件方式自动将本计算存储一体化服务器及其它计算存储一体化服务器中的所有节点的本地磁盘空间整合成一个整体存储空间，以提供给虚拟化软件使用，实现传统架构中集中存储的功能，单节点故障时不会影响整个存储空间的使用且数据不会发生错误或丢失；不允许使用GlusterFS或者Ceph等修改的开源软件。

8、★所有数据至少同时存储2份，分散在多个节点上，没有单点故障。
9、★具备元数据保护功能，保证分布式文件系统中元数据写入的一致性。
10、具备自动数据动态分层功能，软件可自动将经常访问的数据放在SSD磁盘上，将不常用的数据放在SATA磁盘上，无需手工干预；

11、★节点优先使用本地SSD磁盘进行I/O吞吐，其次使用集群范围内其他节点SSD磁盘进行I/O吞吐。
12、★提供在线压缩及重复数据删除功能。使用几k到十几k的粒度保证重复数据删除的效率和效果；
13、★配置按照不同虚拟机上的应用独立实施不同的数据管理策略。例如可针对每个虚机单独设定压缩，去重及定义是否使用SSD缓存进行加速等。
14、★配置精简资源ThinProvisioning功能，提高存储空间使用率。
15、★秒级零资源损耗无限次存储快照及克隆功能，在存储层面提供基于虚拟机磁盘粒度的快照及克隆，并且具备自动快照克隆管理功能，可以定制时间间隔进行秒级自动拍摄快照和同时创建多个虚拟机克隆，并且自定义保存最新的多个快照和克隆，可恢复至任意快照；并且支持在快照或克隆基础上再进行快照及克隆。
16、支持CentOS7.1，VMwarevSphere6.0(ESXi)，VMwarevSphere5.5(ESXi)，KVM等虚拟化操作系统
17、★支持超融合每节点内部容量按需纵向扩展和按节点数横向扩展，支持通过添加外置磁盘阵列柜形式实现存储容量扩展
18、支持按需进行独立计算节点和独立存储节点部署使用
19、具备单一管理界面进行系统管理，管理界面可集成进Hypervisor中，可以在vCenter中直接管理和监控超融合软件，投标时要求提供系统界面截图
软件授权许可转移到新的硬件平台中，替换新的硬件后软件无需额外付费。支持软件单独授权，当有利旧等需求时，可进一步提高资源利用率。
20、★秒级建立VMWare虚拟化快照
21、与虚拟化操作系统集成，出厂前预装VMwarevSphere（ESXi），到用户现场可开箱即用。

22、所供硬件包含三年全面质保，软件升级服务至少一年。软硬件应安装到位，并进行必要的使用培训和故障处置培训。

4

2

24口万兆交换机

支持完整三层功能万兆交换机，100%线速，24个10GbESFP+端口(配置42个SFP+模块)；延迟率低于600纳秒，单台交换机包转发率≧360Mpps，高达480Gbps的最大端口吞吐量；支持服务器虚拟化技术（通过交换机感知到虚拟服务器）；自带虚拟化管理软件并支持VMware,KVM,Hyper-V等平台；标配冗余电源和风扇，功耗不高于168W，可以选择气流模式以优化热通道和冷通道的应用；提供原厂三年质保和三年免费虚拟管理软件升级；和一体机同一品牌。自带虚拟化管理软件并支持VMware,KVM,Hyper-V等平台。

1

3

KVM管理器

17寸液晶折叠套件，笔记本式键盘，触摸式鼠标,1U折叠一体化设计，16口模拟KVM切换器，通道端兼容USB，PS/2服务器；含8条1.8米PS/2界面切换器连接线，1条韧体升级线，1条电源线，手册等

1

4

KVM管理器

17寸液晶折叠套件，笔记本式键盘，触摸式鼠标,1U折叠一体化设计，8口模拟KVM切换器，通道端兼容USB，PS/2服务器；含8条1.8米PS/2界面切换器连接线，1条韧体升级线，1条电源线，手册等

1

5

USBServer

网络共享USB设备的硬件解决方案

双电源支持断电重启功能高性能主板
通过网络共享使用扫描仪,加密狗等USB设备
WEB管理界面5.0.6和4.7.3客户端随意切换
支持VMWare和Microsoft的虚拟环境
协议兼容USBovernetwork客户端

标准1U机架式结构，安装方便，无需额外投资，

独立风道设计，强劲散热，运行更加稳定，符合24*7标准全新系统设备更加稳定
1个GBE千兆网口

14个USB2.0Host端口,每端口提供750mA供电
可以通过usbhub扩展到127个端口设备使用,同时连接客户数1024

恢复秘钥功能

支持通过vpn方式远程连接

支持snmp网络管理协议

2

6

服务器虚拟化

★采用裸金属架构，无需绑定操作系统即可搭建虚拟化平台。Hypervisor结构精简，部署后所占用的存储空间在200M以下。
★虚拟机之间可以做到隔离保护，其中每一个虚拟机发生故障都不会影响同一个物理机上的其它虚拟机运行，每个虚拟机上的用户权限只限于本虚拟机之内，以保障系统平台的安全性。
★虚拟机可以实现物理机的全部功能，如具有自己的资源（内存、CPU、网卡、存储），可以指定单独的IP地址、MAC地址等。
★能够提供性能监控功能，可以对资源中的CPU、网络、磁盘使用率等指标进行实时统计，并能反映目前物理机、虚拟机的资源瓶颈。
★vGPU技术可以支持NVIDIA、AMD和Intel硬件厂商的GPU卡。Linux虚拟机和Windows虚拟机都可以支持vGPU技术。
★提供容错机制，可以保证运行虚拟机的主机发生故障时，虚拟机会自动触发透明故障切换，同时不会引起任何数据丢失或停机，保障所有应用持续可用。
★可以实现基于LAN或WAN的、独立于磁盘阵列的虚拟机级别的复制，可以对虚拟机数据进行基于多个时间点的复制。
★提供虚拟机的备份功能，能够利用重复数据删除技术对整个虚拟机或虚拟机单个磁盘快速进行无代理备份(全备份或增量备份)和恢复。同时提供备份接口，能够与第三方备份软件无缝兼容对虚拟机进行集中备份。
★提供高效的内存调度与保护机制，能够实现内存的过量使用，以此保证虚拟平台不会被暂时的物理内存耗尽而崩溃，同时实现虚拟内存可以超过物理内存。
★具有智能的电源管理功能，可以持续地优化每个集群中的服务器功耗，根据集群内服务器的负载状况对物理主机自行下电和加电，更好地支持绿色环保节能减排的政策。
★支持可靠内存技术，可以将关键的组件（如Hypervisor）放置在受支持硬件上已被确定为“可靠”的内存区域中，避免其受到无法纠正的内存错误的影响，提高系统稳定性。

★提供防病毒和防恶意软件解决方案，可以与第三方杀毒软件或安全软件融合，无需在虚拟机内安装代理即可保护虚拟机，实现虚拟化环境下的安全防范。

★提供虚拟机的存储在线迁移功能，无需中断或停机即可将正在运行的虚拟机从一个存储位置实时迁移到另一个存储位置。支持跨不同存储类型以及不同厂商存储产品之间进行在线迁移。

★提供具有存储识别功能的API，使第三方存储厂商可以将存储软件与虚拟化平台更好的整合，使虚拟化平台能够识别特定磁盘阵列的功能特性以及状态信息。
★提供基于存储的API，以利用基于磁盘阵列的高效操作和第三方存储供应商的多路径软件功能，进而改进性能，可靠性和可扩展性。支持对现有市场上主流的存储厂商的存储进行虚拟化加速功能。
★每台虚拟化主机至少支持320颗逻辑CPU。
★每台虚拟化主机至少支持4096颗虚拟CPU(vCPU)。
★每台虚拟化主机至少支持4TB内存。
★每台虚拟化主机至少支持单个存储卷64TB大小容量。
★每台虚拟化主机至少支持512个虚拟机。
★官方公布虚拟机至少支持90种以上的客户操作系统。

8

7

虚拟化管理中心

★支持单点管理，可以从单个控制台对所有虚拟机的配置情况、负载情况进行集中监控，并根据实际需要实时进行资源调整。
★每个控制台可管理至少1000台物理服务器、10000台已打开电源的虚拟机，15000台已注册的虚拟机，并可以通过链接至少10个控制台实例，跨10个实例管理30000个已打开电源的虚拟机和50000个已注册的虚拟机。
★提供统一的图形界面管理软件，可以在一个地点完成所有虚拟机的日常管理工作，包括控制管理、CPU内存管理、用户管理、存储管理、网络管理、日志收集、性能分析、故障诊断、权限管理、在线维护等工作。同时能够直接配置、管理存储阵列，具有对存储阵列的多路径管理功能。支持QoS能力，支持基于应用程序的服务级别自动管理功能。
★可以支持WebClient和命令行管理功能。
★支持单点登录，用户只需登录一次，无需进一步的身份验证即可访问控制台并对集群进行监控与管理。
★支持自定义角色和权限，可以限制用户对资源的访问，实现分级管理并增强安全性和灵活性。
★支持AD域整合，域用户可以访问控制台，由AD来处理用户身份验证。
★管理软件可实现多管理软件级别互通功能，支持多管理中心架构，并可实现分布式管理。
★可以记录重大配置更改以及发起这些更改的管理员的记录，可以导出报告以进行事件跟踪。
★控制台可选支持双节点高可用管理方式，以减少单点故障影响。
★提供自动报警功能，能够提供物理服务器或虚拟机的CPU、网络、磁盘使用率等指标的实时数据统计，并能反映目前各物理服务器、虚拟机的资源瓶颈。

1

8

SoftLab软件工程实训综合管理平台

1、平台分为管理员、教师和学生三种角色。管理员可以创建教师和学生账号，教师可以创建学生账号。支持单个创建账号和Excel导入批量创建两种方式。

2、教师创建班级，学生申请班级，教师审核后，学生可以参与班级的学习和实训。学生一个账户可参加任意课程。

★3、采用课程、项目、实验、源代码四个要素对资源进行整合和管理。源代码可以跟指定的项目或实验对应，课程可以包含任意的项目和实验。从而达到灵活整合资源的效果。
4、管理员可以指定教师使用课程的权限。

5、资源按进行章节的划分，章节的划分不限层次。支持在线编辑、网页链接、OFFICE文档、视频、配套课件、PDF文档及附件多种格式。

★6、支持通过Word文档导入资源，要求能将word的文字和图片都导入到系统中，并且根据Word文档的标题自动生成相应的章节。支持从任意一个菜单节点导入Word文档。

7、以章或节为单位，可控制资源的显示和隐藏，从而满足不同的实训目标。

★8、创建好的章、节能够灵活调整位置。

★9、支持将程序项目直接导入平台，平台根据项目的文件夹，自动生成相应的目录树。点击目录树中相应的节点，可在线显示源代码文件的内容。可控制目录树节点的显示或隐藏。

10、支持项目资源的在线更新功能，随时获取最新资源。

11、资源平台必须是开放式的，支持管理员、教师发布新的实训资源。管理员可以分配项目或实验给指定教师修改，修改的成果经过审核可供全体教师使用。教师可自行创建的项目获实验，经管理员审核后也可供全体教师使用。

12、教师可以针对每个班级创建多个考核阶段，每个阶段设置提交期限，学生必须在期限之前提交实训成果。

13、教师和学生可以通过留言板功能进行在线交互。

★14、学生可在线观看视频,视频播放器必须具备如下功能：可设置是否允许学生拖动进度条、支持全屏播放和恢复、支持拖到任一点都能快速进行播放、支持音量调节、支持播放\暂停\继续、支持快速切换到上一个或下一个视频。

★15、平台整合流媒体服务器对视频进行管理，流媒体服务器必须具备如下功能：视频管理（包括：视频文件的播放、停止、暂停、继续和查找）、能对视频进行加密，保护知识产权、跨平台应用（可支持windows和Linux）、通过文件Cache技术支持高并发。

16、软件具备国家版权局颁发的计算机著作权证书。

17、软件需提供3年免费升级，终身技术支持。

1

9

信息安全实验包

一、信息加密实验指导

1.1Caesar密码的实现，1.2DES算法的实现，1.33DES算法的实现，1.4AES算法的实现，1.5MD5算法的实现，1.6SHA-1算法的实现，1.7RSA算法的实现，1.8DSA数字签名实验，1.9PGP安全电子邮件实验。

二、防火墙实验指导

2.1NAT转换实验，2.2普通包过滤实验，2.3状态检测实验，2.4事件审计实验。

三、网络攻防实验指导

3.1Ping主机扫描实验，3.2主机发现与端口扫描实验，3.3漏洞扫描实验，3.4网络数据包的监听和分析实验，3.5网络嗅探实验，3.6远程控制实验。

四、Web安全实验指导

4.1Web应用安全漏洞扫描与攻击实验，4.2SSL证书申请实验，4.3Apache安全配置实验。

五、入侵检测实验指导

5.1Snort入侵检测系统部署与配置，5.2特征匹配检测实验，5.3网络流量分析实验，5.4完整性检测实验。

六、IPSecVPN实验指导

6.1IPSecVPN配置实验，6.2VPNIKE认证实验，6.3VPN模式比较实验。

七、综合类实验指导

7.11SSL通信编程实验，7.2基于SnortSam的主动防御网关。

八、工具安装

8.1OpenSSL部署安装，8.2PGPDesktop安装

1

10

云计算实训平台（CloudStack集群）

1、丰富的用户管理界面，CloudStack基于其API提供了一个功能丰富、简单易用的云基础设施管理界面。该用户管理界面基于AJAX，兼容大部分种类的最新版本网页浏览器，能够和已有的portal门户网站进行很好的整合、集成；

2、用户管理界面（Logo等）的自定义，我们简单易用的用户管理界面是使用标准的HTML和具有放大镜效果的CSS作为我们标准的JavaScriptlibrary.这使得可以很简单的进行定制，使其能够反映贵公司的现有特色；

3、安全的AJAX访问控制台，一个AJAX类型的VNC客户端使得用户通过最新的浏览器就可以访问他们的虚拟机，而不需要其他额外的插件；

4、功能强大的API，能够轻松地构建、集成和使用在CloudStackAPI之上的应用。CloudStackAPI也是可靠且可扩展的，CloudStack还包含有支持AmazonEC2和S3的API接口；

5、安全的单点登录，通过整合集成现有的单点登录系统到我们的CloudStack用户管理接口，使用户具有更好的使用体验；

6、支持账号角色的分级管理，三种不同级别的账户:Admin:能够管理云中的所有的虚拟和物理资源；Domain-Admin:仅仅能够管理属于这个域中的账号的虚拟资源；User:只能管理属于用户自己的虚拟机资源；

7、基于需求的虚拟数据中心，为用户提供了几乎无限量的计算资源。根据用户的需要和实际使用进行收费；

8、动态负载的管理，当在负载均衡、数据安全等设置了策略之后，CloudStack能够完全自动在物理基础设施上对计算资源、网络资源、存储资源进行分配；

9、广泛的网络虚拟化功能，支持基于嵌入的基于软件的网络管理如Vlan，我们的直连式IP使得你能够集成到一个最适合您的虚拟网络架构中；

10、支持MPLS协议，CloudStack运行把VLAN分配给指定的账户，实现在不同网络节点间的MPLS支持；

11、安全的云部署，确保云中的不同用户间的内存、CPU、网络、存储等资源都是有效的，并且是隔离的；

12、支持Hypervisor的多样性，CloudStack提供了非常灵活的管理程序支持，当前市场上主要有：VMware,KVM,CitrixXenServer,andCitrixXenCloudPlatform等；

13、创建模板操作简单，CloudStack用户管理界面中能够很容易的创建预定义模板，用以高效的进行虚拟机部署；

14、丰富的模板和ISO管理功能，CloudStack云中的用户和管理员都能够上传并管理他们的系统模板和ISO镜像。通过管理功能可以设置全局开放级别或者单用户级别实现对模板和ISO镜像共享的控制。CloudStack还允许对模板进行跨域的管理，并确保模板会自动复制到适当的存储服务器中；

15、域和委托管理，域使得你能够对云的资源进行隔离，并且可以把域授权给其他的管理员进行管理；

16、快照管理，快照作为能够降低数据丢失和灾难恢复的一种方式。CloudStack中用户既可以对特定的磁盘卷做快照，也可以做一个定期自动做快照的计划任务。用户还可以设置保存快照的数量上限；

17、完善的服务管理，管理员能够定义、部署、管理CloudStack云中多种服务和磁盘方案。

VM的同步和高可用性CloudStack定制的虚拟机同步技术不断地监视和维护云中所有虚拟机的运行状态，能够自动地确保VM能够正常运行；

18、资源的超分和限制，利用现有的管理程序、存储和网络技术，你可以配置CloudStack云允许对现有的物理资源进行超配以优化虚拟机的分配。CloudStack也提供给管理员限制虚拟资源的权利（例如每个账号能够创建的虚拟机的数量）；

19、资源消耗的计量，能够实时地、可见的提供产品的历史使用报告，并能够根据CloudStack的Usage引擎整合的测量数据生成账单；

20、警告和通知，通过内置的云系统监控进程，你可以通过CloudStack的API接口或者通过设置STMP收到如物理资源使用超过限制、机器出现故障等报警信息；

21、虚拟路由、防火墙和负载均衡功能，CloudStack支持防火墙和负载均衡的软、硬件设备的整合，为用户提供额外的安全性和可扩展的云环境；

22、多类型存储支持，CloudStack支持多种类型的存储，其中iSCSI和NFS是其首选方案。但是任何能够多节点同时挂载的存储都是可以的使用的。这就给了你很大的选择空间，你的存储服务器可以是普通的硬件设备，也可以是如DellEqualLogic或者NetApp的企业级的解决方案；

23、存储分级，做为CloudStack功能的一个方面，其整合了多种类型的存储解决方案。CloudStack可以标记指定的存储服务器用以虚拟机的部署。当你的存储服务器支持非磁盘密集型应用，致力于快速和强大磁盘密集型应用程序（如数据库）时，这是非常有益的；

24、块存储卷，CloudStack支持在包括在网络存储上或者本地存储上创建任意大小的块存储卷，并可以将其与现有的虚拟机进行附加和分离；

25、广泛的支持多种类型的虚拟机操作系统，依赖于管理的程序的不同，CloudStack支持很广泛的虚拟机操作系统类型，如Windows?,Linux?,BSD?等。

25、事件/审核日志，所有用户与CloudStack的UI或者API进行的交互都会被作为事件进行记录。每一个事件表明类型、安全级别、描述、资源的所有者、动作的发起者、事件发生的时间等；

26、用户数据支持，CloudStack支持当用户在部署新的虚拟机时提交任意类型的二进制用户数据。这就给了每一个用户通过同一个模板创建虚拟机时具有很强的配置灵活性；

27、虚拟机操作系统参数，利用当前的硬件和操作系统的授权模式，CloudStack允许管理员标记物理机优先匹配指定的操作系统类型。例如，这意味着只要有可能，你的基于Windows系统的虚拟机都将会部署在标记有优先使用Windows的主机上；

28、主机维护时的VM自动迁移，对主机进行硬件的升级和维护时，而云中的虚拟机不间断运行是可以实现的。CloudStack将把标记为维护状态的主机上的虚拟机在线迁移到其他主机上，而不会影响虚拟机上服务的运行；

29、灵活的适配器框架，CloudStack支持集成多种虚拟机管理程序，存储，网络和认证解决方案。12由于这种灵活性，我们已经创建了一个适配器框架，很容易让您进一步定制，以满足您的业务需求的云；

30、支持虚拟机操作系统的随机密码设置，你可以使用随机密码功能进一步增强你的虚拟机操作系统模板。这个功能将在使用使用模板创建虚拟机时随机生成一串唯一的密码。这将会使得你的用户在登陆或修改更改密码时更加的安全。当前支持Windows和Linux系统平台。

31、支持OpenStackSwift做辅助存储，辅助存储（存放虚拟机快照和模板）可以在NFS和OpenStackSwift之间进行选择。

32、项目，允许在同一个项目组中用户可以共享各种资源并进行协作。当一个用户创建了一个项目，则该项目中所有人的资源使用量都会算作该项目创建者的资源使用量。

33、支持NetScaler，CloudStack支持MPX,VPX&SDX等设备，用户可以设置第四层负载均衡策略。支持的协议如下：HTTP,TCP&UDP；支持算法:最小负载和轮询算法；支持持久会话类型:基于源IP地址、基于cookie；

34、网络即服务NetworkAsaService，管理员可以针对不同的网络行为创建不同的网络服务方案。例如：CloudStack的基本的网络方案使用虚拟路由提供网络服务，而一个高性能网络方案使用如NetScaler和JuniperSRX等物理设备提供网络服务。用户可以在部署虚拟机时选择网络方案，以可以将虚拟机的网络方案进行更改；

35、集成LDAP，CloudStack支持LDAP作为一个内置的、可选的身份认证方式。

36、资源阙值及报警，管理员能够对资源设置一个报警阙值，当资源使用率超过该阙值时会发送报警信息。资源阙值的设置会阻止CloudStack进一步从资源池重分配资源。

1

11

大数据Hadoop工程师开发培训包

第1章：Hadoop生态系统以及版本演化

实验1-1、Hadoop伪分布式环境搭建。

第2章：HDFS2.0应用场景、原理、基本架构及使用方法

实验2-1、HDFSShell常用命令的使用。

实验2-2、利用HDFS的JavaAPI实现查看HDFS中文本文件内容的功能。

实验2-3、利用HDFS的JavaAPI开发程序，实现将Linux文件系统中的文件拷贝到HDFS分布式文件系统的功能。

实验2-4、利用HDFS的JavaAPI开发程序，实现将HDFS分布式文件系统中的文件拷贝到Linux文件系统的功能。

第3章：YARN应用场景、基本架构与资源调度

实验3-1、搭建Hadoop的完全分布式环境

第4章：MapReduce2.0基本原理与架构

实验4-1、下载气象数据集部分数据，写一个Map-Reduce作业，求每年的最低温度。

实验4-2、下载气象数据集部分数据，写一个Map-Reduce作业，求每年的最高温度。

实验4-3、把作业素材demo.txt中的两个表数据用适当的方式导入Hadoop，写Map-Reduce程序，求各个部门的总工资。

实验4-4、把作业素材demo.txt中的两个表数据用适当的方式导入Hadoop，写Map-Reduce程序，求各个部门的人数和平均工资。

实验4-5、把作业素材demo.txt中的两个表数据用适当的方式导入Hadoop，写Map-Reduce程序，查询各部门最早进入公司的员工姓名。

实验4-6、把作业素材demo.txt中的两个表数据用适当的方式导入Hadoop，写Map-Reduce程序，求各城市的员工的总工资。

实验4-7、把作业素材demo.txt中的两个表数据用适当的方式导入Hadoop，写Map-Reduce程序，列出工资比上司高的员工姓名及其工资。

实验4-8、列出工资比公司平均工资要高的员工姓名及其工资。

实验4-9、把作业素材demo.txt中的两个表数据用适当的方式导入Hadoop，写Map-Reduce程序，列出名字以J开头的员工姓名及其所属部门名称。

实验4-10、把作业素材demo.txt中的两个表数据用适当的方式导入Hadoop，写Map-Reduce程序，列出工资最高的头三名员工姓名及其工资。

实验4-11、把作业素材demo.txt中的两个表数据用适当的方式导入Hadoop，写Map-Reduce程序，将全体员工按照总收入（工资+提成）从高到低排列，要求列出姓名及其总收入。

实验4-12、如果每位员工只能和他的直接上司，直接下属，同一部门的同事交流，求任何两名员工之间若要进行信息传递所需要经过的中间节点数。

实验4-13、根据一段网站访问日志使用Map-Reduce处理这个日志，计算出每个IP的点击次数。

第5章：MapReduce2.0编程实践

实验5-1、计算每年最高气温，实验5-2、数据去重，实验5-3、数据排序，实验5-4、计算学生平均成绩，实验5-5、计算最大值和最小值，实验5-6、计算最大的K个值并排序，实验5-7、分析非结构化文件，实验5-8、获取员工部门信息，实验5-9、输出人员ID、姓名、地址，实验5-10、优化方案输出人员ID、姓名、地址，实验5-11、二次排序，实验5-12、自连接问题，实验5-13、倒排索引，实验5-14、多字段排序，实验5-15、多文件输入执行Join操作，实验5-16、多种自定义文件格式的文件输入处理，实验5-17、结果输出到多个文件夹或文件中，实验5-18、链式Map-Reduce。

第6章：HBase应用场景、原理与基本架构

实验6-1：HBase安装。

第7章：HBase编程实践

实验7-1、使用NativeJavaAPI连接HBase，执行CRUD操作，实验7-2、HBaseShell连接HBase，

实验7-3、REST风格的HttpAPI访问HBase，实验7-4、直接使用MapReduce作业处理HBase数据。

实验7-5、用Java等等常用编程语言，通过thrift连接HBase，并且尝试读出HBase里的数据。

第8章：Zookeeper部署及典型应用

实验8-1、Zookeeper安装部署，实验8-2、HBase+Zookeeper独立分布式部署。

第9章：Hadoop数据入库系统Flume与Sqoop

实验9-1、Flume数据收集练习，实验9-2、利用Sqoop实现传统数据库与Hadoop间的同步练习。

第10章：数据分析系统Hive与Pig应用与比较

实验10-1、Hive的安装部署，实验10-2、HQL语句练习，实验10-3、Pig的安装配置，实验10-4、PigLatin常用操作练习，实验10-5、Pig调优练习。

第11章：HBase案例分析

实验11-1、Flume+HBase练习，实验11-2、基于HBase的文档库练习，实验11-3、利用Hive处理HBase中的数据，第12章：数据挖掘工具包Mahout，实验12-1、Mahout安装，配置，入门程序测试。

第13章：工作流引擎Oozie与Azkaban应用

实验13-1、Oozie基本用法练习，实验13-2、Azkaban基本用法练习，实验13-3、Oozie调度pig作业练习，实验13-4、Oozie调度Hive作业练习，实验13-5、Oozie调度Sqoop作业练习。

1

12

大数据实训平台（HDP集群）

1、基于hadoop2.x，引入了yarn计算框架，可轻松在集群中使用mapreduce以外的其他计算框架；

2、基于webui的管理界面，管理简单便捷。例如：参数配置，并将配置的参数以新版本的形式发布，只需要在界面上点一下按钮即可使已做的配置生效，无需重启集群；

3、基于webui的集群监控，通过仪表盘对集群的运行状态一目了然；

4、集成pig，通过webui可轻松将pig集成到集群中，通过pig简化mapreduce程序的编写；

5、集成hive，通过webui可轻松将hive集成到集群中，通过hive在hdfs上建立数据仓库，使用hql语句简化mapreduce程序的编写；

6、集成tez，通过webui可轻松将tez集成到集群中，并通过tez加速mapreduce的计算周期；

7、集成Solr，通过webui可轻松将Solr集成到集群中，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过HttpGet操作提出查找请求，并得到XML格式的返回结果；

8、集成spark，通过webui可轻松将spark集成到集群中，通过spark对数据进行更高性能的计算；

9、集成Slider，通过webui可轻松将Slider集成到集群中，通过Slider可将用户的已有服务或者应用直接部署到YARN上；

10、集成HBase，通过webui可轻松将HBase集成到集群中，通过HBase实现海量数据存储和检索；

11、集成phoenix，通过webui可轻松将phoenix集成到集群中，提供了HBase的sql访问功能，可以使用标准的JDBCAPI操作去创建表、插入记录、查询数据；

12、集成Acumulo，通过webui可轻松将Acumulo集成到集群中，为Hadoop提供可扩展的、分布式的、且基于单元持久性的数据备份；

13、集成Storm，通过webui可轻松将Storm集成到集群中，通过Storm为集群提供更实时更快的计算；

14、集成Falcon，通过webui可轻松将Falcon集成到集群中，提供了一个用于治理和编排Hadoop内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关键性的管控框架；中国采招网（bidcenter.c om.cn）#

15、集成Atlas，通过webui可轻松将Atlas集成到集群中，Atlas是一个可伸缩和可扩展的核心功能治理服务。企业可以利用它高效的管理Hadoop以及整个企业数据生态的集成；

16、集成sqoop，通过webui可轻松将sqoop集成到集群中，用来在Hadoop和关系数据库中传递数据。通过sqoop可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库；

17、集成Flume，通过webui可轻松将Flume集成到集群中，Flume是一个分布式、可靠和高可用的海量日志采集、聚合和传输的系统，支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力；

18、集成Kafka，通过webui可轻松将Kafka集成到集群中，主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理；

19、集成ZooKeeper，通过webui可轻松将ZooKeeper集成到集群中，实现了集群高性能，高可靠性，和有序的访问；

20、集成Oozie，通过webui可轻松将Oozie集成到集群中，可以在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，起到流程控制的作用；

21、集成Knox，通过webui可轻松将Knox集成到集群中，专注于Hadoop的安全性。KnoxGateway通过在Hadoop集群之前的REST代理，可以使用现有工具来提供单点登录，然后就可以使用Hadoop了；

22、集成Ranger，通过webui可轻松将Ranger集成到集群中，提供一个集中的安全框架来管理细粒度访问控制Hadoop数据访问组件(比如Apachehive和ApacheHBase），使用Ranger控制台、安全管理员可以轻松地管理政策文件,文件夹,数据库、表或列。

1

合计

￥1,890,000