发新话题
打印

[讨论][原创][分享] 数据备份之我见

数据库复制
周围环境的灾难,例如:地震、洪水,或者暴乱会使整个数据中心及周围环境彻底丧失数据服务的能力。为了恢复一个灾难中的数据库,必须有一个灾难破坏范围之外的一个数据的冗余拷贝,并且当恢复中心数据恢复完毕后,必须可以响应客户端的请求。
使用传输日志方法的复制
保证数据库可恢复的环境容灾的最基本挑战就是如何保证容灾地点具有最新的数据。或许实现这种状态的最简单办法就是在数据中心与容灾地点间物理的传送归档日志,例如,使用快递或运输服务。在恢复地点,日志被备份数据库(有的叫做备用数据库)重新应用来实现数据“刷新”。对于应用来说,如果可以容忍一整天的数据丢失,那么这种简单的方法也许就足够了。它的主要缺点就是数据刷新和重路由客户端请求的劳动强度比较高,很容易出现人为错误。
对于简单应用和小型数据库,日志传输和数据库刷新技术可以通过在网络上执行定期的日志传送和刷新任务来自动完成。
数据库管理器复制
今天,大多数数据库管理器支持精密的实施复制,允许例如一对多、双向的复制。也可以是数据库子集的复制,只将感兴趣的数据复制到目标端。在分布式数据库最初设计时,数据库管理器复制就可以用来实现容灾复制。
数据库复制需要在主站点和恢复站点间有一个高性能网络的连接,但即使这样也不能实时同步,这意味着在数据库完全将数据反映到备用数据库有一个时间延迟。一些数据库支持同步复制,虽然解决了上面的问题,但是它明显减低了主数据库的性能,因为只有当所有的复制任务全部结束后,数据库才能继续接收数据。
针对数据库的存储复制
数据库复制要求具有专门的数据库管理技术。额外的,一些基于数据库的信息服务在数据库之外存储了额外的数据。为了实现灾难恢复,所有的应用信息都必须复制到远程站点。存储复制是针对数据库复制的一个简单可行的办法,它可以将数据库数据和其它数据全部从数据中心复制到恢复站点。
数据库的内容可以在卷一级或者文件一级进行复制。稳定的、高性能的文件系统复制也相当优秀。可靠的高性能卷复制能够使远程复制数据文件、在线日志和归档日志变得非常简单。如果所有的数据文件、日志文件,及其它的辅助数据都存放在一个独立的文件系统或独立的卷中,复制就会变得非常简单。
卷管理器对数据库恢复的非常有利,原因在于它在数据中心与容灾站点执行同样顺序的操作。如果没有这个特点,它的数据不能够保证与实际数据库先前的状态一致,也就是说复制就不能作为数据库恢复的基础。
我是猪头,因为我管着一群猪

TOP

从备份恢复数据库
通过正规备份,并且快速的将备份介质运送到安全的地方,数据库就能够在大多数的灾难中得到恢复。恢复是文件的使用是从一个基点的数据库映像开始,到一些综合的备份和日志。由于不可预知的物理灾难,一个完全的数据库恢复(重应用日志)可以使数据库映像恢复到尽可能接近灾难发生的时间点的状态。对于逻辑灾难,如:人为破坏或者应用故障等,数据库映像应该恢复到错误发生前的那一点。
在一个数据库的完全恢复过程中,基点后所有日志中的事务被重新应用,所以结果就是一个数据库映像反映所有在灾难前已接受的事务,而没有被接受的事务则不被反映。为了恢复数据库误操作等错误,完全的恢复时不合适的,因为如果重新应用所有事务,错误就会重复。数据库恢复应用程序允许管理员停止日志前滚在错误发生前一点。数据库恢复可以恢复到错误发生前的最后一个时刻。
检验数据库备份
大多数的企业都会定期地对他们的数据库进行备份,但是却没能经常地对数据库备份进行检验。数据库备份会由于以下各种原因而变得无效:
►        元数据(例如一个Oracle控制文件或SQL Server控制数据库)缺失
►        在物理备份的过程中数据库处于非静止的状态
►        一个或多个必需的数据库文件从备份中丢失
►        数据库被破坏后才进行备份
从某种意义而言,无效的数据库备份比根本不做备份的情况更糟,因为无效的数据库备份会造成一种安全的假象。
因此,检验数据库备份是一项非常重要的工作,尤其是在进行了自动备份进程之后或是在数据库结构改变之后。即使是没有任何改变发生,定期进行检验也是必需的,例如可以定期地检测损坏的介质或磁带驱动器等等。
为了将检验工作对数据库生产运行的影响冲突降至最低,备份的检验工作需要使用备用资源。一个正在用于检验修复备份的数据库应该带有一个备用数据库标识符或服务器名称以免客户端会将信息错误地发送给检验数据库。检验内容应该既包括使用全部的归档日志的数据库恢复资源,也包括使用厂商提供工具进行数据库一致性的检验。
管理数据库日志
对于容灾而言,数据库备份应当存贮在远离数据库的地方。为了达到最优容灾状态,在灾难发生后能够容易地获取数据库日志也是非常必要的。数据库归档日志通常保存在备份储存的地点。数据库管理员必须在数据库实时恢复和资源占用量两者之间找到平衡,从而决定进行数据库日志归档的频率。过多地进行归档可以降低数据损失的潜在危险,但是浪费了更多的进程和I/O资源,很有可能增加了处理的响应时间。过少地进行归档可以降低资源的平均占用量,但是延长了两次归档的间隔时间,很有可能导致不能做到精确的实时恢复。
如果一个数据库和它的联机日志被损坏了,那么即使马上进行了严密的数据库备份和日志归档,数据也极有可能丢失。因此,一个完整的数据库融灾策略的一个重要部分就是对联机的数据库日志进行复制,这样在进行修复处理时就可以及时利用这些复制的内容准确无误地修复数据库。联机数据库日志可以通过有限的距离进行镜像。(错误!未找到引用源。).如果距离过长,数据库管理员可以通过多路转接技术或者通过企业网络同时进行本地和远处的日志拷贝。多路转接技术通常比镜像和低水平复制(如数据卷)的速度要慢一些,因此如果可以的话要尽量选择后一种方式。
最高级别的数据库实时恢复是在每次事务提交的之前同步进行数据库日志的传输和归档。换句话说,必须要在日志已经被转移到另外地点后,才进行事务的提交。显而易见,这种选择执行起来的代价是非常昂贵的,因而在实践中较少采用。
我是猪头,因为我管着一群猪

TOP

概要:数据库恢复层次
下面列出的数据库恢复技术是按照他们所能够提供的保护能力的顺序列出的,也同时是使用他们所需要的资金,方便程度,和技术复杂性的排列顺序。每一种技术都必须与他前面的技术共同使用。例如,磁盘镜像必须伴随着数据库备份和日志归档。
►        正规数据库备份和日志归档
►        磁盘镜像
►        本地群集
►        数据库复制
►        全局群集
对于希望恢复时间(RTO)时间在几个小的内的企业,正规的数据库备份和日志归档也许就能满足。数据库备份和归档日志应该被保存在离数据中心有一定距离的地方。高级的备份软件的特性,如自动的定期的块增量备份可以减少管理成本,缩短备份窗口,以及最小化恢复时间。
通过简单的镜像硬件和网络,镜像数据库存储dada减少了因为硬件故障所引起的数据库停机。也可以通过剥离镜像的备份提高数据库的可用性。
可以通过群集技术提高数据库级信息服务的可用性。一个本地群集可以使由于系统的单点而出现故障的可能降到最小。当错误引起临时的损耗,服务恢复时自动的。在共享数据的群集中,损耗窗口可以为零。在群集中,备份可以运行在导入了数据库服务器镜像数据的辅助服务器上。
为防止站点实效而进行的灾难恢复中,数据库必须复制到远程站点。数据库复制的最简单方法就是将归档日志传送到远端,然后在备用服务器上重新应用。这种技术丢失的数据数量是固定的。不能容忍在灾难中丢失数据的企业应该使用数据库或存储复制。
最高的数据库可用性应该使用全局群集来完成,它在多个互相连接的站点中调整数据库和应用的可用程度。
弹性数据库通过不同方法使用冗余拷贝。数据库可以通过额外的拷贝提高访问性能。存储数据库数据的磁盘可以被镜像来提高弹性。实时备份可以用来避免灾难和故障。事务日志可以使导致数据错误的时间前滚。最后,完全的数据镜像可以在远端保存一份数据来避免灾难。高级的数据库管理器可以自行分发它们所管理的数据以提高数据库弹性和性能。
我是猪头,因为我管着一群猪

TOP

复制的延时
无论数据库复制还是存储复制,都会将认为无操作和应用错误复制到恢复端。例如,在主站点错误的删除了一个表,那么恢复中心也同会删除,因此使用复制无法纠正错误。
如果在数据中心与恢复中心的数据刷新上存在一定的可配制的延时,数据库复制就可以用来一些逻辑错误。例如,如果复制日志在应用到备用数据库前保留一小时,而逻辑错误在一小时之内被发现(通常是这样),这样错误还没有反映到复制数据库中。可以立即将复制停止,然后可以使用备用数据库恢复主数据库。
全局群集管理
因为更加坚固,在群集上,数据库应用可以同时运行在主站点和备用站点。在一个单独的数据中心内两个或更多的群集计算机可以通过一个大范围的网络连接成全局群集,他们是一个平等的高可用系统。当配制了多个恢复站点,或者一个恢复站点复制到第二个恢复站点,可以使用全局群集进行复杂的管理。
在错误切换的复杂性上和站点切换操作的限制性上,全局群集不同于本地群集。与本地群集相比,全局群集的错误切换往往不是自动的,管理员的决定通常需要经过严肃的考虑。全局群集的任务就是方便的提供一个分布的高可用服务器的全局的视图,并且可以通过一个单独的点来进行控制
我是猪头,因为我管着一群猪

TOP

就目前常见的数据库备份软件,如果数据库备份要求数据库在线进行备份,通常要求数据库处于归档模式,而数据库如果处于归档模式,那么一,影响速度,二,一旦归档空间被占满,数据库就会停止,直到有新的归档空间。

有没有可能进行非归档模式的备份?

一个理论,在数据库的底层,也就是使用磁盘阵列进行数据备份,当然磁盘阵列不具备备份功能,但是可以使用复制、镜像等功能进行备份,或者在主机与存储键使用虚拟存储,利用虚拟存储的俄外功能进行备份,但是备份下来的数据可不可用没有经过实际的环境测试,我的模拟环境是没有问题的。据厂家讲,有可能造成数据库的数据文件时间点不一致,即使修复也不一定成功。

但是,此时的备份状态应该与突然断电的状态相同,难道数据库在突然断电的情况下有可能导致再也无法启动吗?
希望那个有实际数据库操作经验的dx解答。

国内有一家dsg公司,制作了一个oracle的备份软件,号称可在非归档模式下进行数据库备份,但我没有用过,不知效果怎么样。
我是猪头,因为我管着一群猪

TOP

可以考虑做个连载!
众里寻它千百DO

TOP

累死了!楼顶的哥们你就不能打个包让我们下载啊!
你不累?
NB
天涯处处是芳草!

TOP

不好意思,可我也只能一段一段去摘(中英文混编的),大家将就一下,如果谁看英文的没有问题,我可发送英文全篇上来(523页)


[此贴子已经被作者于2003-12-1 10:11:19编辑过]


我是猪头,因为我管着一群猪

TOP

发吧,有价值的文章看不懂也得看!
天涯处处是芳草!

TOP

如果全发的话,这里会被淹的,为了大家的安全考虑,我只发目录上来,大家对那一张有兴趣的话,说一下,我会把相应的章节发上来。


Contents
ABOUT THE AUTHORS        XVII
EDITOR’S NOTE        XIX
AUTHORS’ ACKNOWLEDGMENTS        XIX
A WORD FROM GARY BLOOM        XXII
THE IMPORTANCE OF ENTERPRISE RESILIENCY        XXII
A WORD FROM GREG REYES        XXIV
BUSINESS IMPERATIVE: THE NEED FOR CONTINUOUS DATA ACCESS        XXIV
HISTORICAL PREFACE BY DAVID THIEL        XXVII
VMSCLUSTERS:  A HISTORICAL PERSPECTIVE ON DISASTER RECOVERY        XXVII
• PART I:  INFORMATION SERVICES, DISASTER AND RECOVERY        1
CHAPTER 1:  A RESILIENT ENTERPRISE        1
THE NEW YORK BOARD OF TRADE        1
BUILDING A DISASTER RECOVERY PLAN FOR NYBOT        4
Y2K PREPARATION        8
SEPTEMBER 11, 2001        12
SUMMARY        19
CHAPTER 2:  DISASTERS AND RECOVERY PLANS        21
DEFINING DISASTERS ACCORDING TO IMPACT        21
IMPACT ANALYSIS        23
CLASSIFYING DISASTERS        26
IMPACT MODIFIERS        30
PREPAREDNESS AND RECOVERY PLANS        31
CHAPTER 3:  MANAGING DISASTERS        35
COMMUNICATING IN A CRISIS        35
EVENT MANAGEMENT        35
HOW THE EVENT MANAGEMENT PROCESS WORKS        38
BEST PRACTICES FOR DISASTER RECOVERY        40
EVENT MANAGEMENT TOOLS AND TECHNIQUES        48
CHAPTER 4 THE DISASTER RECOVERY SITE        56
SELECTING A RECOVERY SITE        56
DEFRAYING COST:  OTHER USES FOR A RECOVERY SITE        61
RECOVERY SERVICE PROVIDERS        65
CHAPTER 5:  THE HUMAN FACTOR        73
STAFFING, TRAINING, AND SUPPORTING A DISASTER RECOVERY TEAM        73
MANAGEMENT STRUCTURE        76
HOW DISASTERS AFFECT PEOPLE        78
GETTING PEOPLE BACK TO WORK        83
PEOPLE ARE THE MOST IMPORTANT ASSET        84
CHAPTER 6:  TESTING A DISASTER RECOVERY PLAN        87
TESTING IS EVERYTHING        87
FOUR TYPES OF TESTS        87
PREPARING FOR A RECOVERY TEST        89
CONDUCTING RECOVERY TESTS        90
AFTER A RECOVERY TEST        91
• PART II: INFORMATION TECHNOLOGIES FOR DISASTER RECOVERY        93
CHAPTER 7:  INFORMATION SERVICE AVAILABILITY        95
AVAILABILITY        95
HIGH AVAILABILITY        97
ACHIEVING HIGH AVAILABILITY IN COMPUTER SYSTEMS        102
COMPONENT FAILURES AND OUTAGES        106
THE OUTAGE TIMELINE        108
THE OUTAGE TIMELINE: EXAMPLES        116
THE AVAILABILITY INDEX        124
THE MYTH OF THE NINES        126
CHAPTER 8:  BACKUP AND DISASTER RECOVERY        131
PROTECTING ENTERPRISE DATA        131
BACKUP: THE DATA PROTECTION FOUNDATION        132
COMPONENTS OF ENTERPRISE BACKUP ARCHITECTURE        136
ENTERPRISE BACKUP POLICIES        140
INCREMENTAL BACKUP        142
BACKING UP DATABASES        146
ARCHIVES        150
BACKUP MANAGER PERFORMANCE TACTICS        151
BACKUP MANAGER FEATURES        153
TECHNIQUES FOR MINIMIZING BACKUP WINDOWS        155
BACKUP BEST PRACTICES        156
A FINAL WORD ON BACKUP        161
CHAPTER 9:  HSM AND DISASTER RECOVERY        163
REDUCING BACKUP AND RESTORE WINDOWS FOR FASTER DISASTER RECOVERY        163
HIERARCHICAL STORAGE MANAGEMENT        164
HOW HSM TECHNOLOGY WORKS        170
DISASTER RECOVERY WITH BACKUP AND HSM        176
DETERMINING THE IMPACT OF HSM ON A DATA CENTER        177
MAKING AN HSM DECISION        182
CHAPTER 10:  OFFLINE DATA PROTECTION HARDWARE        183
REMOVABLE STORAGE MEDIA HANDLERS        183
AUTOMATED TAPE LIBRARIES        184
AUTOMATED TAPE LIBRARY FEATURES        185
CHOOSING THE RIGHT LIBRARY        186
CHAPTER 11:  PROTECTING ONLINE DATA        189
PROTECTING ONLINE DATA        189
ONLINE DATA PROTECTION TECHNIQUES        192
DATA REPLICATION        192
DISASTERS AND ONLINE DATA PROTECTION        198
TECHNICAL REQUIREMENTS FOR REPLICATION        200
REPLICATION AND DATA CURRENCY        203
DATA REPLICATION IMPLEMENTATIONS        205
GETTING REPLICATION STARTED        209
SECTION STILL TO BE RELOCATED        210
SELECTING AN ONLINE DATA PROTECTION STRATEGY        211
SUMMARY        215
CHAPTER 12:  STORAGE NETWORKS AND DISASTER RECOVERY        217
STORAGE NETWORKS: THE DATA ACCESS INFRASTRUCTURE        217
BLOCK DATA AND FILE ACCESS        222
FIBRE CHANNEL        223
DESIGNING A RESILIENT STORAGE NETWORK        228
SAN PERFORMANCE        236
ZONING AND SAN SECURITY        238
STORAGE NETWORK HETEROGENEITY        239
STORAGE NETWORK APPLICATIONS        242
WIDE AREA STORAGE NETWORKS        242
MANAGING STORAGE NETWORKS        245
DEVELOPMENTS IN STORAGE NETWORKING        245
STORAGE NETWORKING TIPS AND BEST PRACTICES        249
CHAPTER 13:  PROTECTING DATA FILES AGAINST DISASTERS        253
THE NATURE OF FILE SYSTEMS        253
HOW FILE SYSTEMS FAIL AND RECOVER        260
ONLINE ADMINISTRATION FOR IMPROVED AVAILABILITY        264
CHAPTER SUMMARY        269
CHAPTER 14:  PROTECTING DATABASES AGAINST DISASTERS        271
DATABASES        271
DATABASE DISASTERS        273
DATABASE RECOVERY        274
DATABASE BACKUP TECHNIQUES        280
RECOVERING DATABASES FROM BACKUPS        286
STORAGE REDUNDANCY AND DISASTER PROTECTION        288
SYSTEM REDUNDANCY AND DISASTER PROTECTION        289
DATABASE REPLICATION        294
SUMMARY: A DATABASE RECOVERABILITY HIERARCHY        298
CHAPTER 15:  PROTECTING APPLICATIONS AGAINST DISASTERS        301
AVAILABLE APPLICATIONS AND AVAILABLE DATA        301
INCREASING APPLICATION AVAILABILITY        303
THREAT ASSESSMENTS        310
REMOTE FAILOVER CONSIDERATIONS        311
CHAPTER 16:  RESILIENT ENTERPRISE NETWORKS        315
STORAGE AND MESSAGING NETWORKS        315
WIDE AREA COMMUNICATIONS        319
DWDM        325
WIDE AREA CONFIGURATION AND PERFORMANCE ISSUES        327
WIDE AREA COMMUNICATIONS EXAMPLES        336
DESIGN GUIDELINES FOR RESILIENT NETWORKS        338
• PART III: STUDIES IN INFORMATION SERVICE RESILIENCY        341
CHAPTER 17:  CASE STUDIES        343
FLOOD AT A MAJOR REGIONAL HOSPITAL        343
FIRE AT A FINANCIAL FIRM        350
HURRICANE HITS A SMALL COMPANY        355
FLOOD AT A MEDICAL COLLEGE AND HOSPITAL        356
CHAPTER 18:  ENTERPRISE RESILIENCY        369
ENTERPRISES, DISASTERS, AND RESILIENCY        369
RESILIENCY AND EFFICIENCY        372
PLANNING FOR ENTERPRISE RESILIENCY        374
ENTERPRISE RESILIENCY TECHNIQUES        379
BEYOND RECOVERY: ORGANIC ENTERPRISES        382
ENTERPRISE RESILIENCY THROUGH CELLULAR ORGANIZATION        386
TACTICS FOR ENTERPRISE RESILIENCY        391
CHAPTER 19:  LOOKING AHEAD: THREE PERSPECTIVES        399
INFRASTRUCTURES FOR DISTRIBUTED INFORMATION SERVICES        401
INTRODUCTION        401
CONVERGENCE, EMERGENCE, AND MATURITY OF TECHNOLOGY        402
CONCLUSIONS        404
RETHINKING STORAGE ARCHITECTURES FOR DISASTER RECOVERY        405
SANS HELP TAKE THE WORRY OUT OF BUSINESS CONTINUANCE        412
A MORE FLEXIBLE STORAGE INFRASTRUCTURE        413
A STRATEGIC SOLUTION FOR IMPROVING BUSINESS CONTINUANCE        417
CHAPTER 20:  RETHINKING STORAGE ARCHITECTURES FOR RESILIENCY        419
INTRODUCTION        419
BUSINESS REALITIES        420
TODAY’S ARCHITECTURES AND BELIEFS        421
EXPANSION AND GROWTH        423
THE COMPLEXITY CATASTROPHE        424
EVERYONE MAKES MISTAKES, ADMINISTRATORS ARE NO EXCEPTION        434
LAYERING AND VIRTUALIZATION        435
INVOKING SCALE FREE ARCHITECTURES TO MANAGE COMPLEXITY        436
EVOLVABLE STORAGE SYSTEMS        438
UNIVERSALIZING REPLICAS        439
TECHNOLOGY DISRUPTIONS        440
DEFINING “ULTRA-RESILIENCY”        444
A BOTTOM-UP VIEW OF DATA RESILIENCY        445
CURRENT DIRECTIONS IN UNIVERSITIES        447
INDUSTRY DIRECTIONS        450
CONCLUSIONS - MITIGATING THE COMPLEXITY CATASTROPHE        453
APPENDIX 1: BECOMING A CERTIFIED BUSINESS CONTINUITY PROFESSIONAL        455
THE DISASTER RECOVERY INSTITUTE INTERNATIONAL        455
APPENDIX 2: INFORMATION SERVICES DISASTER RECOVERY SOURCES        459
WEB SITES OF MAJOR ORGANIZATIONS SPECIALIZING IN DISASTER RECOVERY SERVICES        459
DISASTER RECOVERY ORGANIZATIONS        459
TRAINING        459
CONSULTING        459
DISASTER RECOVERY HOSTING        459
INFORMATION TECHNOLOGY PRODUCTS        460
APPENDIX 3: COST AND CAPACITY OF STORAGE MEDIA        465
STORAGE REQUIREMENTS FOR VARIOUS TYPES OF DIGITAL DATA        466
GLOSSARY OF TERMINOLOGY        471
INDEX        490

我是猪头,因为我管着一群猪

TOP

发新话题