5月20日 在计算机和网络技术诞生后，数据中心就产生了。早期的数据中心和现在的数据中心当然不可同日而语，已经发生了翻天覆地的变化。当然，美国有句谚语“要跨过一个20英尺的大坑，靠连续两个10英尺的跳跃是万万不能的”，古罗马不是一天建成的，数据中心的发展也不是一天两天就完成的，它有一个漫长的发展历程。随着各种技术的完善，数据中心已经从建设规模、应用场合、普及程度等方面都发生了根本性的变化，本文将从数据中心架构上的变化来透析这些年信息技术的发展。

原始的PC服务器阶段

在数据中心出现初期，数据中心仅由一台性能高些的服务器组成，大约可以为几十人的规模提供服务，这些人通过互联网访问数据中心的这台服务器，完成数据复制、备份、计算等基本功能，这时的访问速率可想而知，下载速度只有几KB，多人互访甚至会出现死机现象。

服务网络分层阶段

随着网络和计算机技术的发展，数据中心可以为更多的人提供服务，数据中心也具有了多台服务器，共同向外提供多种服务的能力，数据中心内部的服务器通过局域网互连，彼此之间互相影响，协调工作。外部用户依然通过互联网访问数据中心的各种应用。对于外部用户，数据中心的内部局域网络并不可见，数据中心的所有服务器作为一个整体向外提供服务。

虚拟化服务阶段

随着各种虚拟化技术的普及，大大提升了数据中心运行的可靠性和性能。此时的数据中心规模继续扩大，可以向数千人提供服务，内部服务器规模也随之扩大，数据中心内部出现了多种优化性能的设备和技术。比如防火墙(Firewall)、负载均衡LB(Load Balancing Cluster)、数据库集群DB(Data Base Cluster)、高可用性集群HA(High Available)、扩展集群SC(Stretched Clustering)、高性能计算HPC(High PC)等等，数据中心内部服务器虚拟化技术应用普遍。外部用户访问数据中心的一个应用时，往往是数据中心的多个服务器同时提供服务，这大大提升了应用性能。比如对于网络搜索业务，当用户输入一个单词时，数据中心需要在数十亿的网络资源中查找结果，这时一般需要一个虚拟的集群系统同时查询来完成，而这个集群系统往往包含了数百台的服务器，这些服务器同时协同工作，最终将计算结果反馈给查询的用户，这种虚拟化的工作方式大大提升了运算速度。

数据中心综合建设优化阶段

此时的数据中心已经将关注点着眼在能耗、带宽、业务优化等方面，数据中心将可以为数万的用户同时提供服务，数据中心业务量大，往往包含数百台的服务器设备，要考虑能耗的问题。此时的数据中心往往在业务上要进行划分，有的根据业务分为办公网、生产网，有的根据部门分为公共区、市场区、研发区、生产区等等，不同业务之间要有隔离，要有控制访问，避免无用流量占用公共带宽。对数据中心的设备规划、电力、制冷、供电等都要综合性分析进行降耗，降低数据中心的运维成本。

存储与网络融合阶段

存储业务是数据中心的重要组成部分，而存储网络和业务网络从数据中心出现开始就是分离的，两者一直在独立发展，近几年由于数据中心建设成本越来越高，开始有人研究两种网络合一的可能性，各种网络融合的技术也纷纷开始出现。光纤通道(FC)技术依然是存储网络中最重要的技术，现在基于IP的IP SAN技术也开始有些应用，这个正是两网合一过渡的技术，属于部署于存储网络的IP技术，其实两个网络依然是物理分离的，而FCoE技术才是存储网络和业务网络合一的技术。通过FCoE可以实现一张网络完成存储和业务两部分的功能，这将极大降低数据中心网络建设的成本。

多数据中心阶段

现在的数据中心往往需要同时为数百万人提供服务，一个数据中心无法满足

日前，全球第二大独立搜索引擎和最大的中文搜索引擎百度建立了全新的绿色数据中心。全新构建的数据中心充分满足了百度日益庞大的访问量、搜索量带来的后台运算需求，还让百度拥有了更加绿色、节能、环保的IT基础架构设施，为百度的健康、可持续发展奠定了良好的基础。

全新的数据中心由1617台联想最新推出的ThinkServer RD530双路机架式服务器组成，联想为百度量身打造的低能耗、高可用的基础架构解决方案，帮助百度轻松、稳定地应对庞大的访问量和搜索量、丰富多样的互联网服务业务所带来的运维压力，同时有效优化了能效，降低了拥有成本和运营成本，有力地支撑了百度业务的扩大和提升。

项目背景

百度是全球第二大独立搜索引擎和最大的中文搜索引擎。从创立之初，百度便将“让人们最便捷地获取信息，找到所求”作为自己的使命，成立以来，公司秉承“以用户为导向”的理念，不断坚持技术创新，致力于为用户提供“简单，可依赖”的互联网搜索产品及服务，其中包括：以网络搜索为主的功能性搜索，以贴吧为主的社区搜索，针对各区域、行业所需的垂直搜索，Mp3搜索，以及门户频道、IM等，全面覆盖了中文网络世界所有的搜索需求，同时还扩展了导航服务、社区服务、游戏娱乐、软件工具等多种业务。根据第三方权威数据，百度在中国的搜索份额超过80%，在全球范围内每天处理的搜索查询量已经超过了 50 亿次，远超Google。

需求分析

百度主营业务为搜索业务，目前采购服务器主要分为两种机型：存储型和均衡型服务器。对于搜索业务而言，存储型服务器主要用于存放各种数据(包括网络爬虫获取的数据、检索数据库、日志等等)。其采用12盘位的低端Intel服务器，采用了分布式文件系统(将文件分块，分布存储)和三副本技术(每一份数据存储在4块不同的硬盘上，并且这4块硬盘分属不同的服务器)，所以采用性价比最高的3.5寸SATA硬盘即可满足性能和可靠性要求。

均衡型服务器主要用于抓取、分析、索引器等角色，一般需要大容量内存，并且能够实现高速的存取速度。为了提高索引速度、降低延迟，其采用并行计算系统实现搜索、检索，还在服务器中配置了SSD硬盘用作热点数据的缓存，并配合百度自己的软件算法来实现性能提升(随机读取性能可以得到几倍甚至几十倍的提升)。

随着用户服务器采购规模的不断扩大，13年百度服务器总保有量将超过20万台，用户将在功耗以及运维方面面临巨大压力和挑战：

试想每台服务器的功耗高1瓦，如此数量的服务器就会高出至少20万瓦，一年多支出的电费可想而知(按照每度电0.8元计算，节省下来的费用就有20万 ÷ 1000 x 0.8元 x 24小时 x 365天 =140.16万元)。而从另一个角度考虑，用户所租用的机房中，每个机柜放置服务器的数量主要受到电流的限制，而不是带宽的限制。目前电信机房的每个机柜限制电流在12A左右，以每台服务器运行时最大功耗250瓦计算，则最多可以安放220V x 12A ÷ 250W =10.56台，出于过流的风险考虑，则只能在一个机柜安放10台服务器;如果每台服务器都能节省下10W的功耗，那么每一个机柜就可以安放220V x 12A ÷ 240W =11台，相比之前可以多放置一台服务器。以放置10000台服务器来计算的话，由于功耗的降低，之前需要使用1000个机柜来放置这些服务器，而现在只需要使用910个机柜就可以了，这样在租用机房中就节省了90个机柜的占用空间，为用户节省了大量的费用。

目前对于百度10万台数量级的服务器，在运维管理方面也势必会面临以下几个问题：

系统上线部署问题

故障精确报警问题，涉及到具体如每条内存、每块硬盘、每个风扇、每个电源模块等

软件及FirmWare批量更新、修改问题，如BIOS、BMC、RAID卡等Firmware在线更新维护

控制故障率，降低MTTR时间

以上每个环节都是很大的挑战，客户希望采购的服务器能够整合对内和对外的资源管理、故障诊断，这样大大地提升了效率，同时也节省了人力成本;另外也能将MTTR(平均故障修复时间)降到更低;主要部件的冗余与热插拔要求也能极大地提高可靠性和可维护性。

方案设计

联想全新一代ThinkServer服务器在开发之初就充分的考虑用户应用需求，在能耗优化上做了很多努力：

高效电源：采用业界最高标准的黄金电源，达到94%的电源转换效率;支持动态负载调节：RD530电源可动态调节两个电源模块的负载，均衡分配每个电源模块的负载，保证电源的转换效率。

宽体机箱：机箱设计比业界标准机箱宽6MM，增加风流截面积，降低风速，降低风扇转速，降低功耗。

层级散热：优先对处理器、内存等发热量高的部件散热，相比传统的四层散热设计可以减少高气流的电阻和对处理器和内存的预热，提升系统的散热效率15%以上，从而达到节能的目的。

星空传感技术：在整个服务器系统中密布超过50颗传感器准确监控系统的温度、电压、功耗等系统状态，为系统风扇调速提供精确数据，配合全自动的调速策略在保证散热的情况下可有效节约风扇带来的功耗。

ThinkServer在运维、管理方面也进行了多项优化

主要部件通用技术，提高家族产品完整性、一致性，降低产品维护难度，保护用户投资，更带来用户管理数据中心的便利性;

故障自诊断模块，快速定位或预警故障位置，包括CPU/内存/风扇/电源等;RD530采用刀锋式导轨，包括上架以及服务器内部操作全部无螺丝设计;

BMC采用通用的IPMI V2.0接口，方便客户自己开发集中监控、管理的软件;随机附送EasyManage管理软件，通过 Web方式控制界面，可跨平台使用，自动识别网络中设备拓扑，实现对ThinkServer全线产品的管理，，支持物理机和虚拟机的监控管理。

高级节能管理软件Smart Grid帮助系统管理员有效监控能源消耗及设备利用率，并可设定策略合理降低系统功耗。

除上述在设计之初考虑到的因素外，在整个项目进展过程中，联想也配合客户进行了多项软件方面的优化工作以达到降低功耗和改善运维管理的目的，主要有以下几个方面：

BIOS实现系统Idle状态下CPU可以工作在Turbo最高频率的功能，从而降低在提供搜索服务时的延迟

BIOS实现linux系统下修改BIOS选项的功能，提升运维效率

BMC实现NCSI功能(可灵活调整BMC share NIC功能，满足不同机房网络环境的运维需求)

BMC优化风扇调速策略，进一步降低功耗

用户收益

百度采用传承Think的传奇基因、创新设计的ThinkServer服务器，结合联想服务器集中管理平台Easymanage，建立了高可用、高可靠、高性能的基础架构，而ThinkServer出色的节能设计不仅提高了机柜放置服务器的密度，降低了总体拥有成本，更是帮助百度构建起一个绿色节能的数据中心，为百度未来业务的进一步健康、稳定发展，奠定了坚实的基础。

百度认为，基于联想ThinkServer服务器所构建的全新数据中心，完全满足百度庞大的数据吞吐量和运算需求，为网友更加迅速、流畅、高效的搜索体验建立了稳定可靠的IT基础架构支持。本次对数据中心的大换血种，ThinkServer不但以稳定、安全、高效、易管理的基础设施平台支持了百度各方面业务的稳定、健康发展，更是以卓越的节能设计为百度构建起一个高密度、低能耗的绿色数据中心，这不但为百度节省的大量成本，还用IT基础设施为百度建立了绿色的长青基业。

，而需要建设多个数据中心，由这些数据中心共同来提供服务。其实无论是腾讯还是百度或是阿里巴巴，都在全国各地建有数据中心，这些数据中心各有侧重，向外提供不同的服务。也有一些数据中心承担了一些新的功能，如备灾数据中心，多活数据中心。当某个数据中心故障时，其它数据中心立即可以接管服务，继续向外提供服务，极大地提升了数据中心的可靠性。对于大型的重要数据中心，备灾数据中心是必须具备的。数百万的访问用户被分流到各个数据中心，均衡工作，一旦其中某个数据中心停止服务，其它数据中心可以完全无缝接管。

云与数据中心融合阶段

云计算是虚拟化技术的升级版，通过在数据中心部署云计算技术，可以完成多数据中心之间的业务无感知迁移，并可为数千万人同时提供服务。此时的数据中心虚拟化技术无所不在，网络、存储、安全、服务器等都要部署虚拟化技术。数据中心将不再按照业务类型划分，而是按照云来划分，可以分为公有云、私有云、云服务等等。云数据中心将可以向外提供三种服务：基础设施服务租用Iaas、软件平台租用PaaS、应用程序租用SaaS，满足不同用户的需求。云数据中心仍是目前数据中心未来建设的主要发展目标。

以上详细述说了数据中心架构发展的七大阶段，从只有一台服务器仅能向数十人提供低质服务，到拥有数千台服务器的多个数据中心同时向数千万甚至数亿人提供服务，数据中心已经发生了翻天覆地的变化。有很多人对数据中心的未来做了畅想。的确，数据中心的发展不会停滞不前，未来将会有更多的新技术出现，架构也会不断变化，为更多人提供更好的服务。