天天站长

 找回密码
 用户注册
查看: 111644|回复: 1

未来数据生命周期的软、硬之道

[复制链接]

0

主题

0

听众

8202

积分

核心会员

Rank: 8Rank: 8

UID
4
积分
8202
威望
1607
金币
2786
贡献
0
活跃
0
魅力
0
注册时间
2007-3-19
发表于 2007-5-24 00:40:23 |显示全部楼层
&nbsp;&nbsp;&nbsp;&nbsp;<FONT size=2>&nbsp;----现实是,企业各种重要数据分布在多个分散的、异构的平台和数据库中,并且信息数据量不断产生,系统和硬件不断增长,信息技术环境变得越来越复杂,IT部门面临增长的复杂性挑战。&nbsp;----预计,未来三年内产生的数据量,将超过人类自记录以来数千年的数据量总和。以电信行业为例,许多省市的一级电信客户已经在谈论TB级的应用数据库和上百TB的存储资源管理。今天的电信公司业务涵盖了以前闻所未闻的业务,如IP电话、大容量电子邮件、IDC服务、数据通信、宽带网业务、短消息、视频业务等。同样,电信综合业务支撑系统(OSS/BSS)将计费、营业、客服三种基本业务系统融合在一起,实现运营与管理的集中。这些数据信息正以超乎人们想象的速度在增长。&nbsp;----那么,整个信息系统架构的成本核心是什么?存储的灵魂又是什么呢?&nbsp;----上述的答案是:数据和数据管理。谈到数据的管理,就必须涉及数据的整个生命周期管理问题,即所谓的ILM。ILM就是对信息数据的产生、使用到消亡这样一个完整的生命过程进行有效管理问题。&nbsp;----信息生命周期至应该涉及四部分内容:数据的创建-涉及高速、异构、网络化的自动存储管理;数据的安全-数据一旦产生,就必须提供适宜的、相应水平的安全和保护管理;数据的共享和迁移-信息数据的价值在于利用和共享,如何有效地将这些海量的信息共享出去,涉及到服务器的能力、应用系统软件的能力、存储资源的能力;数据的历史归档-如何确保几十年以后,数据依然存在、依然可读,数据可以按照不同级别分别存放在不同的存储设备上。&nbsp;----近年来,网络存储(NAS)解决方案、城域网(SAN)解决方案大行其道,技术竞争使得网络存储硬件的成本按照几乎每年30-50%的速度持续下降。记得1999年时,1TB的基于SAN高端存储的市场价格几乎是70-100万美元,而在2004年年末,几乎降到5-8万美元。据估计,到2008年,每TB的成本可能降到5000美元左右。&nbsp;----虽然,硬件的成本大幅度降低,但存储网络的总体管理成本却依然在不断上升。存储硬件和一体化的网络存储架构降低了数据在创建时期的单位成本,但是,数据的安全、共享、归档等后几个周期的成本下降则不是那么简单。信息数据可以简单分为两类:结构化的数据,比如Oracle数据库数据等;非结构化的数据,比如各种文件数据等。当今的信息系统中,结构化的数据占据核心重要的位置。值得关注的是,对于SAN或者NAS硬件体系、结构化的数据库数据的实时共享、数据库数据的自动分级存储管理、数据库数据历史归档的管理问题等并没有得到有效的解决,因此直接导致目前市场上缺少真正的ILM产品。&nbsp;----存储厂商大致可以分为硬件厂商、软件厂商、存储网络交换机厂商。在炒作数据生命周期的概念的同时,硬件厂商典型的解释是,信息生命周期管理不是一蹴而就的,应该分阶段实施,每个阶段都可以实现相应的价值。它应该可以利用和继承客户目前所拥有的技术和体系结构。比如EMC就认为ILM分为三个阶段实施:实施自动网络存储,优化存储基础设施;提高服务等级,优化信息管理;实施集成式生命周期管理环境。&nbsp;----事实上,即便按照EMC的观点来看,后两个阶段也不是简单的存储硬件方案就能解决好的。存储软件厂家需要发挥作用,承担责任。为了给数据在其整个生命周期中提供不同水平的数据存储可用性、数据安全保护级别,以及数据检索、迁移、共享性能和数据的归档,存储管理的软件地位不断上升。所以,传统存储硬件厂家纷纷涉足存储管理软件,例如EMC、HDS已致力于成为存储硬件、软件、解决方案和服务供应商。&nbsp;&nbsp;----正如上述分析,行业人士公认如今的ILM还只是处于幼年时期,所以有一系列的发展亮点。&nbsp;1、数据的创建期----数据的最初建立和使用的最初阶段,重点的挑战是数据的高速存储问题。但是,用户面对的往往是在同一系统(或企业)的不同部门都存在着不同的信息存储方案或是平台,再加上不断增长的企业业务信息数据,各类不同的软、硬件和信息存储技术共存。&nbsp;----目前,业界将将异构的一体化的存储资源管理技术(SRM)看作是一个战略发展方向。&nbsp;----Dynamic Markets的一项调查指出,超过96%的被调查者认为,在今后几年,存储网络化的步伐会加快,存储资源管理将成为企业存储管理系统中不可缺少的重要工具,比如EMC的AutoIS等。实际上,这是一个类似与SRM的解决方案。存储硬件逐渐标准化,利用软件管理多厂商的异构存储平台对于降低成本更有意义。利用通用存储资源管理软件体系,使企业能够全方面地了解他们拥有的存储资源,将不同产品组成的异构存储环境作为一个整体而不是一个个独立的部分来进行管理,使各种信息设备的存储、网络和主机资源管理得以简化,并实现自动化。&nbsp;&nbsp;2、数据的安全保护期:&nbsp;(1)数据容灾(备份):----在实际应用中,数据容灾依靠备份技术实现,目的是保证数据不丢失,但并不能保证服务不中断。数据容灾关注的是,数据必须结合企业现行数据存储方案,将原始数据完全一样地复制,最好保存在异地。当原始数据遭到人为误操作、软硬件故障、病毒危害、黑客恶意攻击和偶然性的自然灾害时,利用备份数据把原始数据恢复回来,使系统能够正常工作。&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;(2)应用容灾----在异地建立一套与本地数据系统相当的冗余系统,当灾难出现后,远程系统可以迅速承接本地应用系统的业务,保证服务不中断。&nbsp;----目前主流应用容灾的技术是基于磁盘阵列复制方案和存储卷的解决方案。现有的容灾解决方案要求至少数千万元的投资(昂贵的磁盘存储系统和昂贵的存储卷管理系统),并且在灾难未发生时,容灾端的设备会闲置。&nbsp;----逻辑级的数据库数据保护冗灾是下一个热点。在逻辑级,通过传输和运行数据库事务(Tran-saction)来保持生产和备份数据库数据的一致性。一旦数据库因某种情况不可用时,备份数据库将切换为新的生产数据库,以达到无数据损失或最小化数据损失的目的,为业务系统提供持续的数据服务能力。同时,利用备份数据库的数据提供查询、统计分析、数据抽取等多种增值服务。&nbsp;----目前DSG的RealSync、QUEST的SharePlex,以及部分数据库厂家正在进行这方面的努力。&nbsp;3. 数据的共享----数据共享是信息生命周期管理中做的最差的一环。 虽然采用了网络存储SAN或者NAS来存储和管理企业信息,但是,结构化的数据库数据依然是分割的,存在大量的信息孤岛,造成大量的 信息资源无法及时共享,大量查询、统计报表和数据仓库应用性能低下。&nbsp;----由此可见,纯硬件的复制技术是满足不了数据共享需求的。数据共享是实现不同系统之间的 数据共享和应用集成,将查询和统计分析独立出来,以便获得更高的性能和灵活性,将数据仓库 的数据独立于生产系统,降低生产系统资源争用,整合企业信息资源,建立企业统一信息模型。&nbsp;----数据库的逻辑复制技术是一个热点。比如DSG的SmartE是通过安装在各信息系统上的代理程 序,实时监控分析各系统数据库的交易变化,再按照客户设置的规则将最新变化信息发布给那些 订购了这些信息的系统代理程序。目标系统根据接收到的信息将数据存入其数据库系统。SmartE 可以为企业提供应用分离,如将OLTP应用、报表和查询应用分离,提高各系统效率,降低资源争用和消耗;数据分发,提供远程用户的数据访问,将本地数据发送给远程用户;数据集中,将分散系统的数据集中到企业统一数据平台上,实现企业统一信息模型;应用集成,实现企业系统之间的数据流通和共享,打破企业信息孤岛,实现系统的信息互通;数据仓库,将源系统上的数据复制到另外一个系统上,用于统计分析、数据挖掘和历史数据管理等应用。&nbsp;----数据库逻辑复制技术可以被灵活配置。根据业务逻辑,很多情况下无需对所有的数据表信息进行复制,而只需要复制那些需要的表的信息,这样可以减少存储和网络带宽的成本。同时,数据库逻辑复制技术支持水平和垂直分割,也支持各种复制策略,如1:1单向复制、一对多复制、多对一复制等。&nbsp;&nbsp;4. 数据的归档----通常来讲,数据被重用的概率自数据创建3天之后就会下降50%,而高达90%的数据超过90天后就不会或很少被读取。分析家的报告指出,Unix和Windows的存储资源利用率只有20%至50%。把不重要的数据从其占据的昂贵的存储设备上移到相对廉价的存储设备上,为其提供适当的可用性、容量、成本、性能和保护,是降低成本的关键所在。&nbsp;----真正的挑战来自于结构化的数据库数据的归档和分级存储管理。数据库数据是相互关联的,不能简单地移动。如果破坏了其关联性,将造成数据库崩溃或者不能正常工作。</FONT>                                       

0

主题

0

听众

1016

积分

黄金会员

Rank: 4

UID
60080
积分
1016
威望
0
金币
675
贡献
0
活跃
2
魅力
1
注册时间
2013-12-23
发表于 2013-12-23 21:31:08 |显示全部楼层
好贴,绝对要支持下!!~~
[url=http://www.http://www.jsjlbbs.com/[b]建设交流论坛[/b][/url]
[url=http://www.http://www.jsjlbbs.com/][b]施工组织设计[/b][/url]&amp;lt;strong&amp;gt;
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 用户注册


|申请友情链接|关于我们|商家合作|广告报价|联系我们|法律声明|隐私条款|无图浏览|手机浏览|  


敬请您尊重网上道德,遵守《全国人大常委会关于维护互联网安全的决定》及中华人民共和国其它各项有关法律法规。

本网所有帖子均来源网友上传,本站未进行任何修改和未获取任何利益,且仅代表作者本人意见,不代表本网站立场。

天天站长 技术支持:杭州桐庐家园网络技术有限公司 广告合作:13968063988 在线QQ:18118865

Copyright ©2003-2012 Powered by 安网数据 All Rights Reserved. 备案信息:浙B2-20060153号