ccnp_server

源址：http://blog.csdn.net/ccnp_Server/archive/2007/01/24/1492227.aspx

Veritas 备份出错 status code : 96
通过 “Activity Monitor” 发现在AIX中对Lotus Notes实现文件级备份过程出现错误，状态代码(Status Code)为96。
备份描述：

Media Server	Policy	Pools	Backup Type		Start/End Time	Target
Sybzx_app	OAappFull	OA_mailFS_appFS	在线全备	FS	09:30-11:00  week7	/app/notesdata
Sybzx_app	OAappIncr	OA_mailFS_appFS	在线增量	FS	03:00-04:00  week1/5	/app/notesdata
Media Server	Policy	Pools	Backup Type		Start/End Time	Target
Sybzx_mail	OAmailFull	OA_mailFS_appFS	在线全备	FS	09:30-11:00  week 7	/mail/notesdata
Sybzx_mail	OAmailIncr	OA_mailFS_appFS	在线增量	FS	03:00-04:00  week 1/5	/mail/notesdata

故障描述：
Activity Monitor.jpg


JobDetails_jobOverview.jpg


JobDetails_DetailedStatus.jpg


首先执行”available_media”检查对应volume pools中的磁带状态，具体执行输出为：

HP-UX hostname B.11.11 U 9000/800 (ta) login: Password: Please wait...checking for disk quotas (c)Copyright 1983-2000 Hewlett-Packard Co.,  All Rights Reserved. (c)Copyright 1979, 1980, 1983, 1985-1993 The Regents of the Univ. of California …… RESTRICTED RIGHTS LEGEND Use, duplication, or disclosure by the U.S. Government is subject to restrictions as set forth in sub-paragraph (c)(1)(ii) of the Rights in Technical Data and Computer Software clause in DFARS 252.227-7013. # cd /usr/openv/netbackup/bin/goodies # available_media media   media   robot   robot   robot   side/   ret    size     status ID     type    type      #     slot    face    level  KBytes ---------------------------------------------------------------------------- DataStore pool NetBackup pool U572L2  HCART2   TLD      0       57     -       -     -        AVAILABLE U571L2  HCART2   TLD      0       56     -       -     -        DBBACKUP None pool OA_mailFS_appFS pool U557L2  HCART2   TLD      0       42     -       1     209312   ACTIVE U558L2  HCART2   TLD      0       43     -       1     14368    ACTIVE U570L2  HCART2   TLD      0       55     -       3     195901760        ACTIVE U540L2  HCART2   TLD      0       25     -       1     267028576        FULL U555L2  HCART2   TLD      0       40     -       3     291753984        FULL

·介质U540L2与U555L2可用空间均饱和，其”size”值不同，是由于数据压缩率不同，可以通过介质包装察看介质实际存储量与压缩存储量；
Symantec 官方800(bj) 一位姓”张”的工程师解释到，该错误代码表示为容器中没有可用的设备…仅此而已！事实上通过”job details”已经明确指明”不能分配新的介质，存储单元不可用”。且该工程师阐述，针对一个” volume pools”当其中某介质存在”Full”状态时，且数据在”Schedule”中定义的”Retention”尚未到期，则程序将对”Policies”中为对应的作业分配”状态”为空的介质（注意：不是存在剩余空间的介质，而是一个空间未被利用的介质。）当然上述情况发生前，一旦数据在”Schedule”中定义的”Retention”已经过期，则该介质将被释放，并被循环使用。
解决办法：扩展volime pools，为” OA_mailFS_appFS”增加新的介质。
与该工程师提及Basis之间的讨论”由于多个Policies共同应用一个volime pools，当两个policies共同占用一个介质时会发生抢占介质资源的情况，定论为抢占介质资源冲突而导致该错误”。该论证结果被官方认同。
解决办法：调整产生冲突的Policies中的Schedule内部作业计划时间，将产生冲突的Policies作业计划时间撮开。
通过Activity Monitor.jpg分析，首先考虑800的推断，如果这样的话，为什么又会出现下述情况：
19日  app增量执行报错   mail增量执行完成
20日  app全备执行完成   mail全备执行报错
故此，将定论转移为Basis论点…假设为可用介质发生抢占资源冲突…
但通过此后的日志分析，这个假设是不成立的：
22日  app增量执行报错   mail增量执行报错
23日  app全备执行报错   mail全备执行报错
通过华胜工程师确认，该软件设计对于介质抢占资源冲突是考虑过的！当若干policies应用同一介质并先后在很短的时间内同时出发作业…那么首先被执行的policies将被顺利执行，此后出发的策略作业将进入队列，等待介质空闲后执行
应用Reports将MediaServer 中sybzx_app和sybzx_mail的相关日志数据Run出，并进一步进行排查分析，其结果：
Reports>>Image on media  >>Client:sybzx_app
Reports_ImgOnMeida_sybzxapp1.JPG


Reports_ImgOnMeida_sybzxapp2.JPG


Reports_ImgOnMeida_sybzxapp3.JPG


·介质 U570L2 中数据到期时间为07年02月21日；
·介质 U540L2 中数据到期时间为07年01月30日；
·介质 U570L2 存储每周（周日）在线全备；
·介质 U570L2 存储手工出发；
·介质 U540L2 存储每日（1-5 ）在线增量；
执行”available_media”检查对应volume pools中的磁带状态，具体执行输出为：

# ./available_media media   media   robot   robot   robot   side/   ret    size     status ID     type    type      #     slot    face    level  KBytes ---------------------------------------------------------------------------- OA_mailFS_appFS pool U557L2  HCART2   TLD      0       42     -       1     209312   ACTIVE U558L2  HCART2   TLD      0       43     -       1     14368    ACTIVE U570L2  HCART2   TLD      0       55     -       3     195901760        ACTIVE U540L2  HCART2   TLD      0       25     -       1     267028576        FULL U555L2  HCART2   TLD      0       40     -       3     291753984        FULL

·介质 U540L2 空间容量饱和；
·介质 U555L2 空间容量饱和；
·介质 U570L2 空间容量可用；
总结：按当前介质状态与对应的策略推断，OAappIncr策略无法执行，因为对应介质U540L2可用空间饱和。OAappFull策略可以执行，因为对应介质U5470L2当前未写满。

Reports>>Image on media  >>Client:sybzx_mail
Reports_ImgOnMeida_sybzxmail1.JPG


Reports_ImgOnMeida_sybzxmail2.JPG


Reports_ImgOnMeida_sybzxmail3.JPG


·介质 U555L2 中数据到期时间为07年02月19日；
·介质 U558L2 中数据到期时间为07年01月27日；
·介质 U555L2 存储每周（周日）在线全备；
·介质 U555L2 存储每日（1-5 ）在线增量；
·介质 U558L2 存储手工出发；
总结：按当前介质状态与对应的策略推断，OAmailIncr和OAmailFull策略无法执行，因为对应介质U555L2可用空间饱和。

在上述分析中未找到关于介质U557L2的应用，也就是说该介质不对应任何SAN Media Server。将通过”bpmedialist”查询该介质曾经被哪台Media Server使用过。其执行输出为：

# bpmedialist Server Host = bfbkup id     rl  images   allocated        last updated      density  kbytes restores            vimages   expiration       last read         <------- STATUS -------> -------------------------------------------------------------------------------- U541L2   3     29   10/15/2006 00:01  01/21/2007 03:05  hcart2   228911552     0                 6   02/21/2007 03:05        N/A       U542L2   3     14   10/15/2006 00:01  01/14/2007 00:09  hcart2    49940576     0                 3   02/14/2007 00:09        N/A       U543L2   3    179   09/10/2006 04:03  01/24/2007 10:05  hcart2   314168704     0                44   02/24/2007 10:05        N/A       U545L2   3    238   09/24/2006 00:12  01/24/2007 10:05  hcart2   515437120     0                51   02/24/2007 10:05        N/A       U546L2   3    362   12/25/2006 20:20  01/23/2007 22:09  hcart2   406167680     0               362   02/23/2007 22:09        N/A       U547L2   3    450   11/18/2006 21:32  12/25/2006 20:20  hcart2   517524448     0                12   01/25/2007 20:20        N/A           FULL U548L2   3      8   01/21/2007 03:33  01/23/2007 21:41  hcart2     7666432     0                 8   02/23/2007 21:41        N/A       U549L2   3    314   12/17/2006 21:31  01/23/2007 22:08  hcart2   292351456     0               257   02/23/2007 22:08        N/A       U556L2   3    158   10/14/2006 21:32  01/23/2007 21:44  hcart2   187539904     0                47   02/23/2007 21:44        N/A       U557L2   1      1   01/13/2007 17:26  01/13/2007 17:26  hcart2      209312     1                 1   01/27/2007 17:26  01/13/2007 18:01 U560L2   5      2   01/12/2007 20:43  01/20/2007 03:05  hcart2      822637     1                 2   04/23/2007 03:05  01/13/2007 15:48 … … Server Host = sybzx_app id     rl  images   allocated        last updated      density  kbytes restores            vimages   expiration       last read         <------- STATUS -------> -------------------------------------------------------------------------------- U540L2   1      4   01/14/2007 16:24  01/17/2007 23:05  hcart2   267028576     0                 4   01/31/2007 23:05        N/A           FULL U570L2   3      2   01/14/2007 10:03  01/21/2007 00:05  hcart2   195901760     0                 2   02/21/2007 00:05        N/A       Server Host = sybzx_mail id     rl  images   allocated        last updated      density  kbytes restores            vimages   expiration       last read         <------- STATUS -------> -------------------------------------------------------------------------------- U555L2   3      7   01/13/2007 20:45  01/21/2007 09:45  hcart2   291753984     0                 7   02/21/2007 09:45        N/A           FULL U558L2   1      1   01/13/2007 21:58  01/13/2007 22:07  hcart2       14368     1                 1   01/27/2007 22:07  01/13/2007 22:19

介质U557L2被归属于主机” bfbkup”即Veritas中Master Server。通过” bpimmedia”分析该介质内写入数据的相关信息，其执行输出为：

# bpimmedia -L -mediaid U557L2 Backup-ID            Policy     Type  RL  Files   C  E  T  PC  Expires Copy Frag    KB Type Density FNum      Off       Host       DWO MPX Expires          RL MediaID ------------------------------------------------------------------------------------------------ tjdx_app_1168680394  bfoa_appwe UBAK  1   62      N  N  R  1   17:26 01/27/2007 1   1   209312 RMed hcart2  1         2         bfbkup     3   N   17:26 01/27/2007 1  U557L2

备份策略依旧为bfoa_app，介质内数据保存期限截至07年1月27日
由于策略变更导致该介质无法被继续使用，情况描述为：策略内容变更，策略的Retention变更等；

ccnp_server

故障综述：

通过上述输出分析，U540L2介质存储空间饱和，导致OAapp的策略OAappIncr无法被执行（错误96），因为当前Vertas介质分配机智为每个策略对应一个可用介质，当该可用介质存储空间饱和，且当前volume pools (OA_mailFS_appFS)中没有新的介质则该策略无法被执行。（新介质定义为从未应用的介质，或未经过写操作的介质，或其中存储数据已过期的介质）

由于第一次涉及veritas软件安装，缺乏相关经验，在备份策略执行中出现若干次手工中断，与策略修改，导致磁带不能被软件正确分配。

官方解决方案：

⑴更换新介质，以替换带库volume pools (OA_mailFS_appFS)中被写满的介质。
弊端：维护成本高，需要人工更换介质，数据量大的情况需要经常更换。

⑵将整个volume pools (OA_mailFS_appFS)纳为一个大的容器，策略的执行不再与磁带相对应，而是基于软件的机智对介质进行随机分配。
弊端：最大的瓶颈是每介质很有可能存放最近日期的保存数据，导致该介质无法被循环利用。如：
volume pools：Case

Retention：3 month

U5001L2介质末尾存储3月数据，介质内数据过期时间截止至6月

U5002L2介质末尾存储3月数据，介质内数据过期时间截止至6月

U5003L2介质末尾存储3月数据，介质内数据过期时间截止至6月

很有可能U5001L2一直在存储1月的数据，如果继续保存1月数据直至写满介质，那么该U5001L2介质将在4月即可被循环利用，但若按上述方法将volume pool划为一个大容器，那么U5001L2很有可能在介质末尾处存储3月的数据，这样该介质就只能在7月才可以被循环利用。



介质U557L2存储部分OAapp相关增量备份信息，可应用Veritas通过数据还原，分析该数据是否保留；

介质U558L2存储部分OAmail相关手工备份信息，可应用Veritas通过数据还原，分析该数据是否保留；

若上述两个介质内数据无须保留，则可以将其介质内信息全部擦除，并重新利用；



预备解决方案：

¨         确认介质U557L2和U558L2内部数据是否需要保留，若无须保留，则将磁带擦出并循环利用；
若无法循环利用介质U557L2和U558L2，则考虑备用方案：

n         更换新介质，以替换带库volume pools (OA_mailFS_appFS)中被写满的介质。

n         将整个volume pools (OA_mailFS_appFS)纳为一个大的容器，策略的执行不再与磁带相对应，而是基于软件的机智对介质进行随机分配。

解决方案补充：

Veritas可以将备份文件副本存储于其他存储介质，如DS4300磁盘阵列桂，在不需要购买独立License支持该模块的前提下，可以考虑初期将OA系统的备份镜象同时写入DS4300，当无须对备份策略进行调整后，撤除镜象副本的备份。

hewei

谢谢了

mountin

简单问题，复杂化，就是没有可用带子。

winneru6

96代碼我這裡也經常出現~多數都是沒有磁帶~
但是也有時候出現磁帶明明可用，但是Police卻無法執行的問題~~
我也找不到原因~