Oracle数据库数据恢复、性能优化

找回密码
注册
搜索
热搜: 活动 交友 discuz
发新帖

35

积分

0

好友

1

主题
1#
发表于 2012-3-8 18:18:58 | 查看: 14608| 回复: 33
Dataguard环境:
oracle版本是 10.2.0.1
OS: CentOs 6.0


一个primary database , 一台 logical standby database


出错是在 logical standby上。


应用某个日志时,系统突然报错:ORA-00600: internal error code, arguments: [krvuam1], [0], [], [], [], [], [], []


所有的apply 进程全部 stopped。


目前logical standby 还能正常访问,查询,插入数据都OK。 但就是无法启动 apply进程了。已启动就报错。


附上trace文件,还请高手帮忙看看!


真的好着急。求助!相信每个经历过 生产库出问题的的人,都能理解我现在的心情。。。谢谢大家了!

[ 本帖最后由 tohjb 于 2012-3-8 18:20 编辑 ]

mimo_p001_13002.trc.zip

2.05 MB, 下载次数: 768

2#
发表于 2012-3-8 18:29:03
Version 10.2.0.1 Linux  x64

Unix process pid: 13002, image: oracle@*** (P001)

ORA-600 internal error code, arguments: [krvuam1], [0], [], [], [], [], [], []

stack call :
  1. ksedmp: internal or fatal error
  2. ORA-00600: internal error code, arguments: [krvuam1], [0], [], [], [], [], [], []
  3. ----- Call Stack Trace -----
  4. calling              call     entry                argument values in hex      
  5. location             type     point                (? means dubious value)     
  6. -------------------- -------- -------------------- ----------------------------
  7. ksedst()+31          call     ksedst1()            000000000 ? 000000001 ?
  8.                                                    000000000 ? 000000000 ?
  9.                                                    000000000 ? 000000001 ?
  10. ksedmp()+610         call     ksedst()             000000000 ? 000000001 ?
  11.                                                    000000000 ? 000000000 ?
  12.                                                    000000000 ? 000000001 ?
  13. ksfdmp()+21          call     ksedmp()             000000003 ? 000000001 ?
  14.                                                    000000000 ? 000000000 ?
  15.                                                    000000000 ? 000000001 ?
  16. kgerinv()+161        call     ksfdmp()             000000003 ? 000000001 ?
  17.                                                    000000000 ? 000000000 ?
  18.                                                    000000000 ? 000000001 ?
  19. kgeasnmierr()+163    call     kgerinv()            006469D40 ? 2B8C3BAD0040 ?
  20.                                                    000000000 ? 000000000 ?
  21.                                                    000000001 ? 000000001 ?
  22. krvuam()+745         call     kgeasnmierr()        006469D40 ? 2B8C3BAD0040 ?
  23.                                                    000000000 ? 000000000 ?
  24.                                                    000000000 ? 000000000 ?
  25. krvsekd()+857        call     krvuam()             2B8C3BAD6528 ? 000000000 ?
  26.                                                    000000001 ? 000000000 ?
  27.                                                    7FFF00000000 ? 005469318 ?
  28. knahfhcp()+632       call     krvsekd()            2B8C3BAD6528 ? 15E3F5200 ?
  29.                                                    2B8C3BD9AEF8 ? 7FFF314B32B8 ?
  30.                                                    7FFF314B32BC ? 000000000 ?
  31. krvxInvokeCallbacks  call     knahfhcp()           2B8C3BAD6528 ? 15E3F5200 ?
  32. ()+121                                             2B8C3BD9AEF8 ? 7FFF314B32B8 ?
  33.                                                    7FFF314B32BC ? 000000000 ?
  34. krvxpirc_InvokeReco  call     krvxInvokeCallbacks  2B8C3BAD6528 ? 15E3F5200 ?
  35. rdCallback()+214              ()                   2B8C3BD9AEF8 ? 7FFF314B32B8 ?
  36.                                                    7FFF314B32BC ? 000000000 ?
  37. krvxbpplcr_PostProc  call     krvxpirc_InvokeReco  15D807088 ? 0550C7531 ?
  38. essLcr()+152                  rdCallback()         2B8C3BD9AEF8 ? 7FFF314B32B8 ?
  39.                                                    7FFF314B32BC ? 000000000 ?
  40. krvxbpel_ProcessEnd  call     krvxbpplcr_PostProc  7FFF314B3380 ? 15E3F5200 ?
  41. Lcr()+315                     essLcr()             2B8C3BD9AEF8 ? 7FFF314B32B8 ?
  42.                                                    7FFF314B32BC ? 000000000 ?
  43. Cannot find symbol
  44. Cannot find symbol
  45. krvxbpdl_ProcessDat  call     krvxbpel_ProcessEnd  15ED6FAE0 ? 141815378 ?
  46. aLcr()+1906                   Lcr()                15E3F5200 ? 15E3F5200 ?
  47.                                                    15ED6F8C0 ? 000000000 ?
  48. krvxbgen_GenericTx(  call     krvxbpdl_ProcessDat  2B8C3BAD6528 ? 15E3F5200 ?
  49. )+925                         aLcr()               15E3F5200 ? 15E3F5200 ?
  50.                                                    15ED6F8C0 ? 000000000 ?
  51. krvxbuild()+647      call     krvxbgen_GenericTx(  2B8C3BAD6528 ? 15E3F5200 ?
  52.                               )                    15E3F5200 ? 15E3F5200 ?
  53.                                                    15ED6F8C0 ? 000000000 ?
  54. krvxmrs2()+2249      call     krvxbuild()          141850F20 ? 15E3F5200 ?
  55.                                                    15E3F5200 ? 15E3F5200 ?
  56.                                                    15ED6F8C0 ? 000000000 ?
  57. krvxmrs()+537        call     krvxmrs2()           141850F20 ? 15E3F5200 ?
  58.                                                    15E3F5200 ? 15E3F5200 ?
  59.                                                    15ED6F8C0 ? 000000000 ?
  60. kxfprdp()+1186       call     krvxmrs()            141850F20 ? 15E3F5200 ?
复制代码
krvxbpel_ProcessEndLcr=> krvxbpplcr_PostProcessLcr=>krvxpirc_InvokeRecordCallback=>krvxInvokeCallbacks=>knahfhcp=>krvsekd=>krvuam=> Error




PROCESS STATE
-------------
Process global information:
     process: 0x15c62c0f8, call: 0x1500de298, xact: (nil), curses: 0x15c9c5da0, usrses: 0x15c9c5da0
  ----------------------------------------
  SO: 0x15c62c0f8, type: 2, owner: (nil), flag: INIT/-/-/0x00
  (process) Oracle pid=29, calls cur/top: 0x1500de298/0x1500de298, flag: (0) -
            int error: 0, call error: 0, sess error: 0, txn error 0
  (post info) last post received: 169 0 4
              last post received-location: kslpsr
              last process to post me: 15f637ed0 1 0
              last post sent: 171 0 4
              last post sent-location: kslpsr
              last process posted by me: 15f6376e8 1 0
    (latch info) wait_event=0 bits=0
    Process Group: DEFAULT, pseudo proc: 0x15f727b30
    O/S info: user: oracle, term: UNKNOWN, ospid: 13002
    OSD pid info: Unix process pid: 13002, image: oracle@gw221 (P001)

    SO: 0x15c9c5da0, type: 4, owner: 0x15c62c0f8, flag: INIT/-/-/0x00
    (session) sid: 1076 trans: (nil), creator: 0x15c62c0f8, flag: (100041) USR/- BSY/-/-/-/-/-
              DID: 0001-001D-00000004, short-term DID: 0000-0000-00000000
              txn branch: (nil)
              oct: 0, prv: 0, sql: (nil), psql: (nil), user: 0/SYS
    O/S info: user: oracle, term: UNKNOWN, ospid: 13002, machine: gw221
              program: oracle@gw221 (P001)
    last wait for 'LogMiner: wakeup event for builder' blocking sess=0x(nil) seq=452 wait_time=674 seconds since wait started=0
                =1, =0, =0
    Dumping Session Wait History
     for 'LogMiner: wakeup event for builder' count=1 wait_time=674

回复 只看该作者 道具 举报

3#
发表于 2012-3-8 18:35:19
ODM Finding:

匹配ORA-600 internal error code, arguments: [krvuam1]和 knahfhcp=>krvsekd=>krvuam stack call的bug
  1. Bug 8482079: ORA-00600 [KRVUAM1], [0] DURING LOG APPLY AND LOG APPLY STOPS

  2. Hdr: 8482079 10.2.0.2 RDBMS 10.2.0.2 DATAGUARD_LSBY PRODID-5 PORTID-212 5695562
  3. Abstract: ORA-600 [KRVUAM1], [0] DURING LOG APPLY AND LOG APPLY STOPS


  4. PROBLEM:
  5. --------
  6. Tue Apr 28 14:16:59 2009
  7. Errors in file
  8. /ora01/app/oracle/admin/iepprep/bdump/iepprep_p001_1200244.trc:
  9. ORA-600: internal error code, arguments: [krvuam1] , [0], [], [], [], [],
  10. [], []
  11. LOGSTDBY status: ORA-600: internal error code, arguments: [krvuam1] , [0],
  12. [], [], [], [], [], []
  13. Tue Apr 28 14:16:59 2009
  14. Errors in file
  15. /ora01/app/oracle/admin/iepprep/bdump/iepprep_lsp0_1564688.trc:
  16. ORA-12801 : error signaled in parallel query server P001
  17. ORA-600: internal error code, arguments: [krvuam1] , [0], [], [], [], [],
  18. [] , []
  19. Tue Apr 28 14:16:59 2009
  20. TLCR process death detected. Shutting down TLCR
  21. LOGSTDBY Apply process P005 pid=88 OS id=1142806 stopped
  22. LOGSTDBY Apply process P007 pid=90 OS id=1245192 stopped
  23. LOGSTDBY Apply process P004 pid=87 OS id=1421362 stopped
  24. Tue Apr 28 14:16:59 2009
  25. logminer process death detected, exiting logical standby
  26. LOGSTDBY Analyzer process P003 pid=86 OS id=1179772 stopped
  27. LOGSTDBY Apply process P008 pid=92 OS id=1196102 stopped
  28. LOGSTDBY Apply process P006 pid=89 OS id=1114318 stopped

  29. DIAGNOSTIC ANALYSIS:
  30. --------------------
  31. iepprep_p001_1200244.trc:

  32. ksedmp: internal or fatal error
  33. ORA-600: internal error code, arguments: [krvuam1], [0], [], [], [], [],
  34. [], []
  35. ----- Call Stack Trace -----
  36. calling              call     entry                argument values in hex     

  37. location             type     point                (? means dubious value)   

  38. -------------------- -------- --------------------
  39. ----------------------------
  40. ksedst+001c          bl       ksedst1              FFFFFFFFFFFAD70 ?
  41. 000000000 ?
  42. ksedmp+0290          bl       ksedst               104811C38 ?
  43. ksfdmp+0018          bl       03F40A80            
  44. kgerinv+00dc         bl       _ptrgl               
  45. kgeasnmierr+0040     bl       kgerinv              7000000ACA3E9A0 ?
  46. 00012FDF8 ?
  47.                                                    FFFFFE00000000 ? 000000000
  48. ?
  49.                                                    100000000 ?
  50. krvuam+008c          bl       01FAC578            
  51. krvsekd+0504         bl       krvuam               FFFFFFFFFFFB2F0 ?
  52.                                                    100FF0000000000 ?
  53. 000000000 ?
  54.                                                    000000000 ? 000000000 ?
  55.                                                    000007383 ?
  56. knahfhcp+034c        bl       krvsekd              110425FB0 ?
  57. 700000099824BF0 ?
  58.                                                    1104A8AE0 ?
  59. FFFFFFFFFFFB482 ?
  60.                                                    FFFFFFFFFFFB480 ?
  61.                                                    FFFFFFFFFFFB488 ?
  62.                                                    FFFFFFFFFFFB484 ?
  63. 000000000 ?
  64. krvxInvokeCallbacks  bl       _ptrgl               
  65. +0080                                             
  66. krvxpirc_InvokeReco  bl       01FAE540            
  67. rdCallback+00e0                                    
  68. krvxsagot_AgeGetOne  bl       krvxpirc_InvokeReco  000000000 ? 000000000 ?
  69. Tx+0814                       rdCallback           
  70. krvxsarafs_AgeReadA  bl       krvxsagot_AgeGetOne  FFFFFFFFFFFB930 ?
  71. llFromSpillTable+07           Tx                   10000001010 ?
  72. 18                                                
  73. krvxsrckpt+0034      bl       krvxsarafs_AgeReadA  110425FB0 ?
  74.                               llFromSpillTable     
  75. krvxbini+0078        bl       krvxsrckpt           000000001 ?
  76. krvxpri+00bc         bl       01FABA18            
  77. krvxmrs2+051c        bl       krvxpri              1049A98E0 ?
  78. krvxmrs+01b0         bl       krvxmrs2            
  79. kxfprdp+0954         bl       _ptrgl               
  80. opirip+04ac          bl       01FAFC88            
  81. opidrv+0448          bl       opirip               110272210 ? 410273B50 ?
  82.                                                    FFFFFFFFFFFF6D0 ?
  83. sou2o+0090           bl       opidrv               32031840BC ? 400000020 ?
  84.                                                    FFFFFFFFFFFF6D0 ?
  85. opimai_real+0150     bl       01FAB174            
  86. main+0098            bl       opimai_real          000000000 ? 000000000 ?
  87. __start+0090         bl       main                 00000000

  88. WORKAROUND:
  89. -----------
  90. None

  91. RELATED BUGS:
  92. -------------
  93. 8236342

  94. REPRODUCIBILITY:
  95. ----------------
  96. Customer's sql apply is stopped; it restarted on its own and then stopped
  97. again

  98. TEST CASE:
  99. ----------

  100. STACK TRACE:
  101. ------------
  102. ksedst+001c          bl       ksedst1              FFFFFFFFFFFAD70 ?
  103. 000000000 ?
  104. ksedmp+0290          bl       ksedst               104811C38 ?
  105. ksfdmp+0018          bl       03F40A80            
  106. kgerinv+00dc         bl       _ptrgl               
  107. kgeasnmierr+0040     bl       kgerinv              7000000ACA3E9A0 ?
  108. 00012FDF8 ?
  109.                                                    FFFFFE00000000 ? 000000000
  110. ?
  111.                                                    100000000 ?
  112. krvuam+008c          bl       01FAC578            
  113. krvsekd+0504         bl       krvuam               FFFFFFFFFFFB2F0 ?
  114.                                                    100FF0000000000 ?
  115. 000000000 ?
  116.                                                    000000000 ? 000000000 ?
  117.                                                    000007383 ?
  118. knahfhcp+034c        bl       krvsekd              110425FB0 ?
  119. 700000099824BF0 ?
  120.                                                    1104A8AE0 ?
  121. FFFFFFFFFFFB482 ?
  122.                                                    FFFFFFFFFFFB480 ?
  123.                                                    FFFFFFFFFFFB488 ?
  124.                                                    FFFFFFFFFFFB484 ?
  125. 000000000 ?
  126. krvxInvokeCallbacks  bl       _ptrgl               
  127. +0080                                             
  128. krvxpirc_InvokeReco  bl       01FAE540            
  129. rdCallback+00e0                                    
  130. krvxsagot_AgeGetOne  bl       krvxpirc_InvokeReco  000000000 ? 000000000 ?
  131. Tx+0814                       rdCallback           
  132. krvxsarafs_AgeReadA  bl       krvxsagot_AgeGetOne  FFFFFFFFFFFB930 ?
  133. llFromSpillTable+07           Tx                   10000001010 ?
  134. 18                                                
  135. krvxsrckpt+0034      bl       krvxsarafs_AgeReadA  110425FB0 ?
  136.                               llFromSpillTable     
  137. krvxbini+0078        bl       krvxsrckpt           000000001 ?
  138. krvxpri+00bc         bl       01FABA18            
  139. krvxmrs2+051c        bl       krvxpri              1049A98E0 ?
  140. krvxmrs+01b0         bl       krvxmrs2            
  141. kxfprdp+0954         bl       _ptrgl               
  142. opirip+04ac          bl       01FAFC88            
  143. opidrv+0448          bl       opirip               110272210 ? 410273B50 ?
  144.                                                    FFFFFFFFFFFF6D0 ?
  145. sou2o+0090           bl       opidrv               32031840BC ? 400000020 ?
  146.                                                    FFFFFFFFFFFF6D0 ?
  147. opimai_real+0150     bl       01FAB174            
  148. main+0098            bl       opimai_real          000000000 ? 000000000 ?
  149. __start+0090         bl       main                 000000000 ? 000000000 ?


  150. Hdr: 8236342 10.2.0.4 RDBMS 10.2.0.4 DATAGUARD_LSBY PRODID-5 PORTID-197 5695562
  151. Abstract: ORA-600 [KRVUAM1] CAUSED SQL APPLY TO STOP ON LOGICAL STANDBY

  152. PROBLEM:
  153. --------
  154. Thu Feb  5 01:35:44 2009
  155. Errors in file /u13/app/oracle/admin/ramprod/bdump/ramprod_ora_19214.trc:
  156. ORA-600: internal error code, arguments: [krvuam1] , [0], [], [], [], [],
  157. [], [
  158. ]
  159. Thu Feb  5 01:35:46 2009
  160. krvxerpt: Errors detected in process 21, role builder.
  161. Thu Feb  5 01:35:46 2009
  162. krvxmrs: Leaving by exception: 600
  163. Thu Feb  5 01:35:46 2009
  164. Errors in file /u13/app/oracle/admin/ramprod/bdump/ramprod_ora_19214.trc:
  165. ORA-600: internal error code, arguments: [krvuam1] , [0], [], [], [], [],
  166. [], [
  167. ]
  168. LOGSTDBY status: ORA-600: internal error code, arguments: [krvuam1] , [0],
  169. [],
  170. [], [], [], [], []
  171. Thu Feb  5 01:35:46 2009
  172. Errors in file /u13/app/oracle/admin/ramprod/bdump/ramprod_lsp0_23258.trc:
  173. ORA-12801 : error signaled in parallel query server P001
  174. ORA-600: internal error code, arguments: [krvuam1] , [0], [], [], [], [],
  175. [], [
  176. ]
  177. Thu Feb  5 01:35:46 2009
  178. TLCR process death detected. Shutting down TLCR
  179. logminer process death detected, exiting logical standby
  180. LOGSTDBY Analyzer process P003 pid=38 OS id=22702 stopped
  181. LOGSTDBY Apply process P004 pid=39 OS id=22706 stopped
  182. LOGSTDBY Apply process P007 pid=46 OS id=22716 stopped
  183. LOGSTDBY Apply process P008 pid=47 OS id=22718 stopped
  184. LOGSTDBY Apply process P005 pid=44 OS id=22710 stopped
  185. LOGSTDBY Apply process P006 pid=45 OS id=22714 stopped

  186. DIAGNOSTIC ANALYSIS:
  187. --------------------
  188. ramprod_ora_19214.trc:
  189. ORA-600: internal error code, arguments: [krvuam1] , [0], [], [], [], [],
  190. [], [
  191. ]
  192. ----- Call Stack Trace -----
  193. calling              call    entry                argument values in hex
  194. location            type    point                (? means dubious value)
  195. -------------------- -------- --------------------
  196. ----------------------------
  197. ksedst()+64          call    ksedst1()            000000000 ? 000000001 ?
  198. ksedmp()+2176        call    ksedst()            000000000 ?

  199. ksfdmp()+48          call    ksedmp()            000000003 ?
  200. kgerinv()+304        call    ksfdmp()            C000000000000612 ?
  201. kgeasnmierr()+144    call    kgerinv()            6000000000031340 ?
  202. krvuam()+96          call    kgeasnmierr()        6000000000031340 ?

  203. krvsekd()+800        call    krvuam()            9FFFFFFFFD1C30A0 ?

  204. knahfhcp()+1136      call    krvsekd()            9FFFFFFFFD1C30A0 ?
  205.                                                   C00000157227AA38 ?
  206. krvxInvokeCallbacks  call    knahfhcp()          9FFFFFFFFD1C30A0 ?

  207. krvxpirc_InvokeReco  call    krvxInvokeCallbacks  9FFFFFFFFD1C30A0 ?

  208. krvxbpplcr_PostProc  call    krvxpirc_InvokeReco  9FFFFFFFFD1C30A0 ?

  209. krvxbpel_ProcessEnd  call     krvxbpplcr_PostProc  9FFFFFFFFD1C30A0 ?

  210. krvxbpdl_ProcessDat  call    krvxbpel_ProcessEnd  9FFFFFFFFD1C30A0 ?

  211. krvxbgen_GenericTx(  call    krvxbpdl_ProcessDat  9FFFFFFFFD1C30A0 ?

  212. krvxbuild()+784      call    krvxbgen_GenericTx(  9FFFFFFFFD1C30A0 ?

  213. krvxmrs2()+2288      call    krvxbuild()          9FFFFFFFFD1C30A0 ?

  214. krvxmrs()+560        call    krvxmrs2()          60000000000B5D78 ?
  215. kxfprdp()+2784      call    krvxmrs()            9FFFFFFFFFFFC930 ?

  216. opirip()+1600        call    kxfprdp()            9FFFFFFFFFFFD470 ?

  217. $cold_opidrv()+1408  call    opirip()            9FFFFFFFFFFFEDB0 ?

  218. sou2o()+336          call    $cold_opidrv()      000000032 ?
  219. $cold_opimai_real()  call    sou2o()              9FFFFFFFFFFFF3F0 ?
  220. main()+368          call    $cold_opimai_real()  000000003 ? 000000000 ?
  221. main_opd_entry()+80  call    main()              000000003 ?

  222. WORKAROUND:
  223. -----------
  224. Rebuild logical standby which is not acceptable

  225. RELATED BUGS:
  226. -------------
  227. Bug 3918228

  228. REPRODUCIBILITY:
  229. ----------------

  230. TEST CASE:
  231. ----------

  232. STACK TRACE:
  233. ------------
  234. ksedst ksedmp ksfdmp kgerinv
  235. kgeasnmierr krvuam krvsekd knahfhcp krvxInvokeCallbacks krvxpirc_InvokeReco  
  236. call    krvxInvokeCallbacks krvxbpplcr_PostProc krvxbpel_ProcessEnd
  237. krvxbpdl_ProcessDat krvxbgen_GenericTx krvxbuild krvxmrs2 krvxmrs kxfprdp
  238. opirip $cold_opidrv sou2o $cold_opimai_real main main_opd_entry

  239. Bug 8528320: ORA-600 [KRVUAM1] IN THE LOGICAL STANDBY DATABASE

  240. Hdr: 8528320 10.2.0.4 RDBMS 10.2.0.4 DATAGUARD_LSBY PRODID-5 PORTID-197 ORA-600
  241. Abstract: ORA-600 [KRVUAM1] IN THE LOGICAL STANDBY DATABASE



  242. PROBLEM:
  243. --------
  244. The Logical Standby performs quite stange.

  245. The customer encounetered ORA-600

  246. ORA-600: internal error code, arguments: [krvuam1], [0], [], [], [], [],
  247. [], []
  248. ----- Call Stack Trace -----

  249. ksedst   ksedmp   ksfdmp   kgerinv   kgeasnmierr
  250. krvuam   krvsekd  knahfhcp
  251. krvxInvokeCallbacks
  252. krvxpirc_InvokeRecordCallbackkrvxbpplcr_PostProc  call     
  253. krvxpirc_InvokeRecoessLcr
  254. krvxbpel_ProcessEndLcr
  255. krvxbpdl_ProcessDataLcr
  256. krvxbgen_GenericTx
  257. krvxbuild krvxmrs2     krvxmrs kxfprdp   
  258. opirip    $cold_opidrv sou2o   $cold_opimai_real   
  259. main      main_opd_entry

  260. ==========================
  261. Stack trace matches to Logical Standby ora-600  bug8236342, closed as
  262. duplicate of 5695562

  263. *** NOTES - See Note 66631.1 )******************
  264. BugTag:             Support notes on Bug 5695562  - DDR info BugDesc 5695562
  265. Affects:            RDBMS (-B1)
  266. NB:                    FIXED
  267. Abstract:           Streams cannot capture inserts for IOT with overflow
  268. (ORA-
  269. 26773)
  270. Fixed-Releases:     A205 B106
  271. Tags:               COMPRESSKEY IOT STREAMS
  272. Details:            
  273.   Streams cannot capture some inserts for an IOT wITH overflow and
  274.   compressed primary key index.

  275. ====================================

  276. The customer applied the patch to both Primary and Standby but it does not
  277. help

  278. ================
  279. The customer has uploaded lot's of traces to the SR
  280. Please let me know what you need

  281. DIAGNOSTIC ANALYSIS:
  282. --------------------
  283. none

  284. WORKAROUND:
  285. -----------
  286. 1. Skip processing a table
  287. 2. Let the Logical to catch up
  288. 3. Reinstantiate this table

  289. RELATED BUGS:
  290. -------------
  291. 8236342, closed as duplicate of 5695562
复制代码

回复 只看该作者 道具 举报

4#
发表于 2012-3-8 18:38:00
Bug 3918228  OERI [krvuam1] in capture parallel processes

Affects:

    Product (Component)        Oracle Server (Rdbms)
    Range of versions believed to be affected        Versions < 10.2
    Versions confirmed as being affected       

        10.1.0.3

    Platforms affected        Generic (all / most platforms affected)

Fixed:

    This issue is fixed in       

        9.2.0.7 (Server Patch Set)
        10.1.0.4 (Server Patch Set)
        10.2.0.1 (Base Release)

Symptoms:
       
Related To:

    (None Specified)
    ORA-600 [krvuam1]

       

    Streams / Logical Standby

Description

    Logical Standby, Streams Capture or LogMiner AdHoc queries
    can fail with ORA-0600 [krvuam1]


这是一个bug 引发的 ORA-0600 [krvuam1], MOS没有提供有效的解决方案 或者 补丁。

就Bug Note的信息来看 10.2.0.5 中可能修复了该bug , 建议你升级到10.2.0.5.6 并重建logical standby

回复 只看该作者 道具 举报

5#
发表于 2012-3-8 19:03:30
谢谢楼主! 好人!!

请问10.2.0.5 补丁在哪可以下载?

回复 只看该作者 道具 举报

6#
发表于 2012-3-8 19:14:13

回复 只看该作者 道具 举报

7#
发表于 2012-3-8 19:18:29

回复 6# 的帖子

请去Metalink下载,如果没有CSI 请联系 Oracle销售

回复 只看该作者 道具 举报

8#
发表于 2012-3-8 19:36:44
好的

请问主库如果不升级,跟从库的compatible不一致,能行吗? 因为主库正在提供服务,不能停机升级。

回复 只看该作者 道具 举报

9#
发表于 2012-3-8 20:44:18
"请问主库如果不升级,跟从库的compatible不一致,能行吗? 因为主库正在提供服务,不能停机升级。"

upgrade logical standby database to 10.2.0.5 ,可以保持compatible 为10.2.0.1

回复 只看该作者 道具 举报

10#
发表于 2012-3-15 17:31:04
升级到 10.2.0.5.6了,还是出错了。
logical standby 已经重建过。

ORA-00600: internal error code, arguments: [krvuam1], [0], [], [], [], [], [], []

回复 只看该作者 道具 举报

11#
发表于 2012-3-15 18:00:24
把生成的ORA-600 trace 压缩打包上传

如果重建logical standby 无法解决该问题, 建议你定位到具体引发该ORA-600 [krvuam1] Appler发生的表, 尝试重建该表

回复 只看该作者 道具 举报

12#
发表于 2012-3-15 18:28:58
trace 跟上次的基本上一模一样。
请教下 怎么定位 有问题的表呢?  每次同步,有上百个表。

谢谢

回复 只看该作者 道具 举报

13#
发表于 2012-3-15 18:41:21
原帖由 tohjb 于 2012-3-15 18:28 发表
trace 跟上次的基本上一模一样。
请教下 怎么定位 有问题的表呢?  每次同步,有上百个表。

谢谢


升级后 情况多少有些变化的 ,详细的诊断的话 还是需要TRACE

回复 只看该作者 道具 举报

14#
发表于 2012-3-15 19:01:17
好的。

trace已上传。

mimo_p001_29791.trc.zip

3.34 MB, 下载次数: 697

回复 只看该作者 道具 举报

15#
发表于 2012-3-15 21:01:19
ODM FINDING:

   SO: 0x88101108, type: 30, owner: 0x9dbbf7c8, flag: -/-/-/0x00
    (LogMiner) ProcCtx 0x88101160, ProcType 2 (Slave)
      Role 'builder'
      PrivateCtx 0x2b74958e6650, State 0, IntState 0x4
        LastCkpt 0x0000.e314a0ab, SkippedCkpt 0 ckptUnsafeCnt 0
      SessionCtx 0x94179808, SessionId 1, Name 'Logical_Standby$'
      DbId 641779280, Global DbName ''
      Flags 0xb2110dc, State 3, IntState 0x0
      SCNs: watch out for wraps!
       Start 0x0000.00000000, DictValid 0x0000.e1c66ec4, Etb  0x0000.e20ca252
       Build 0x0000.e318aaff, Prepare   0x0000.e318b366, Read 0x0000.e318b366
       Spill 0x0000.e3186c93, Oldest    0x0000.e3186c93, Ckpt 0x0000.00000000
       Skip  0x0000.e20d274b, Apply     0x0000.e318867d, Low  0x0000.e318867f
      Enabled threads :  1
      Disabled threads:
      Txns: Avail 5114 Commit 5114 Delivered 448 CommitDelivered 448


*** 2012-03-15 11:43:11.611
ksedmp: internal or fatal error
ORA-00600: internal error code, arguments: [krvuam1], [0], [], [], [], [], [], []
----- Call Stack Trace -----
calling              call     entry                argument values in hex      
location             type     point                (? means dubious value)     
-------------------- -------- -------------------- ----------------------------
ssd_unwind_bp: unhandled instruction at 0x3d0b8e6 instr=f
ksedst()+31          call     ksedst1()            000000000 ? 000000001 ?
                                                   7FFF16F11220 ? 7FFF16F11280 ?
                                                   7FFF16F111C0 ? 000000000 ?
ksedmp()+610         call     ksedst()             000000000 ? 000000001 ?
                                                   7FFF16F11220 ? 7FFF16F11280 ?
                                                   7FFF16F111C0 ? 000000000 ?
ksfdmp()+63          call     ksedmp()             000000003 ? 000000001 ?
                                                   7FFF16F11220 ? 7FFF16F11280 ?
                                                   7FFF16F111C0 ? 000000000 ?
kgerinv()+161        call     ksfdmp()             0069E6A40 ? 000000003 ?
                                                   7FFF16F11220 ? 7FFF16F11280 ?
                                                   7FFF16F111C0 ? 000000000 ?
kgeasnmierr()+163    call     kgerinv()            0069E6A40 ? 006A53B18 ?
                                                   7FFF16F11280 ? 7FFF16F111C0 ?
                                                   000000000 ? 000000000 ?
krvuam()+745         call     kgeasnmierr()        0069E6A40 ? 006A53B18 ?
                                                   7FFF16F11280 ? 7FFF16F111C0 ?
                                                   000000000 ? 000000000 ?
krvsekd()+857        call     krvuam()             006A53B18 ? 0069E6A40 ?
                                                   000000001 ? 000000000 ?
                                                   7FFF00000000 ? 005A966A8 ?
knahfhcp()+632       call     krvsekd()            2B74958E6650 ? 0886A39C8 ?
                                                   2B7495BFCAC0 ? 7FFF16F124B8 ?
                                                   7FFF16F124BC ? 000000000 ?
krvxInvokeCallbacks  call     knahfhcp()           2B74958E6650 ? 0886A39C8 ?
()+121                                             2B7495BFCAC0 ? 7FFF16F124B8 ?
                                                   7FFF16F124BC ? 000000000 ?
krvxpirc_InvokeReco  call     krvxInvokeCallbacks  2B74958E6650 ? 0886A39C8 ?
rdCallback()+204              ()                   2B7495BFCAC0 ? 7FFF16F124B8 ?
                                                   7FFF16F124BC ? 000000000 ?
krvxbpplcr_PostProc  call     krvxpirc_InvokeReco  095A33890 ? 064C63EE7 ?
essLcr()+152                  rdCallback()         2B7495BFCAC0 ? 7FFF16F124B8 ?
                                                   7FFF16F124BC ? 000000000 ?
krvxbpel_ProcessEnd  call     krvxbpplcr_PostProc  7FFF16F12580 ? 0886A39C8 ?
Lcr()+303                     essLcr()             2B7495BFCAC0 ? 7FFF16F124B8 ?
                                                   7FFF16F124BC ? 000000000 ?
krvxbpdl_ProcessDat  call     krvxbpel_ProcessEnd  094179A28 ? 2B74958E6650 ?
aLcr()+2205                   Lcr()                0886A39C8 ? 0886A39C8 ?
                                                   094179808 ? 000000000 ?
krvxbgen_GenericTx(  call     krvxbpdl_ProcessDat  2B74958E6650 ? 0886A39C8 ?
)+981                         aLcr()               0886A39C8 ? 0886A39C8 ?
                                                   094179808 ? 000000000 ?
krvxbuild()+647      call     krvxbgen_GenericTx(  2B74958E6650 ? 0886A39C8 ?
                              )                    0886A39C8 ? 0886A39C8 ?
                                                   094179808 ? 000000000 ?
krvxmrs2()+2201      call     krvxbuild()          094179808 ? 0886A39C8 ?
                                                   0886A39C8 ? 0886A39C8 ?
                                                   094179808 ? 000000000 ?
krvxmrs()+622        call     krvxmrs2()           094179808 ? 0886A39C8 ?


      
      
    SO: 0x9d3bc610, type: 4, owner: 0x9dbbf7c8, flag: INIT/-/-/0x00
    (session) sid: 1074 trans: (nil), creator: 0x9dbbf7c8, flag: (100041) USR/- BSY/-/-/-/-/-
              DID: 0001-0017-00000049, short-term DID: 0000-0000-00000000
              txn branch: (nil)
              oct: 0, prv: 0, sql: 0x959ab3c0, psql: (nil), user: 0/SYS
    service name: SYS$BACKGROUND
    O/S info: user: oracle, term: UNKNOWN, ospid: 29791, machine: gw219.mimoclub
              program: oracle@gw219.mimoclub (P001)
    last wait for 'LogMiner: wakeup event for builder' wait_time=1.813314 sec, seconds since wait started=6
                =1, =0, =0
                blocking sess=0x(nil) seq=8771
    Dumping Session Wait History
     for 'LogMiner: wakeup event for builder' count=1 wait_time=1.813314 sec      
     
     
sql: 0x959ab3c0

Cursor#12(0x2b74958f1be8) state=NULL curiob=0x2b7495907100
curflg=1044 fl2=200000 par=(nil) ses=0x9d3bc610
sqltxt(0x959ab3c0)=table_e_a_1689_8_0_0
  hash=520d270118bdb245a0a8d91c454e89e4
  parent=0x8f271190 maxchild=01 plk=0x96fc4290 ppn=n
cursor instantiation=0x2b7495907100 used=1331693688
child#0(0x94197c90) pcs=0x8f270760
  clk=0x96fdea90 ci=0x8f270488 pn=0x95a0a5a0 ctx=0x8f2f88a8
kgsccflg=0 llk[0x2b7495907108,0x2b7495907108] idx=0
xscflg=76 fl2=0 fl3=2002000 fl4=100
Frames pfr (nil) siz=344 efr (nil) siz=328
Cursor frame dump
  enxt: 1.0x00000148
  pnxt: 1.0x00000010

      SO: 0x96fc4290, type: 53, owner: 0x9d3bc610, flag: INIT/-/-/0x00
      LIBRARY OBJECT LOCK: lock=96fc4290 handle=959ab3c0 mode=N
      call pin=(nil) session pin=(nil) hpc=0000 hlc=0000
      htl=0x96fc4310[0x972fb010,0x96fdeb10] htb=0x972fb010 ssga=0x972fa0b8
      user=9d3bc610 session=9d3bc610 count=1 flags=[0000] savepoint=0x4f600878
      LIBRARY OBJECT HANDLE: handle=959ab3c0 mtx=0x959ab4f0(0) lct=1 pct=1 cdp=1
      name=table_e_a_1689_8_0_0
      hash=520d270118bdb245a0a8d91c454e89e4 timestamp=03-14-2012 10:54:50
      namespace=CRSR flags=RON/KGHP/TIM/PN0/SML/DBN/[12010040]
      kkkk-dddd-llll=0000-0001-0001 lock=N pin=0 latch#=5 hpc=0002 hlc=0002
      lwt=0x959ab468[0x959ab468,0x959ab468] ltm=0x959ab478[0x959ab478,0x959ab478]
      pwt=0x959ab430[0x959ab430,0x959ab430] ptm=0x959ab440[0x959ab440,0x959ab440]
      ref=0x959ab498[0x959ab498,0x959ab498] lnd=0x959ab4b0[0x959ab4b0,0x959ab4b0]
        LIBRARY OBJECT: object=8f271078
        type=CRSR flags=EXS[0001] pflags=[0000] status=VALD load=0
        CHILDREN: size=16
        child#    table reference   handle
        ------ -------- --------- --------
             0 8f270f28  8f270a88 94197c90
        DATA BLOCKS:
        data#     heap  pointer    status pins change whr
        ----- -------- -------- --------- ---- ------ ---
            0 9289e5c0 8f271190 I/P/A/-/-    0 NONE   00


      SO: 0x96fdea90, type: 53, owner: 0x9d3bc610, flag: INIT/-/-/0x00
      LIBRARY OBJECT LOCK: lock=96fdea90 handle=94197c90 mode=N
      call pin=(nil) session pin=(nil) hpc=0000 hlc=0000
      htl=0x96fdeb10[0x96fc4310,0x972fb010] htb=0x972fb010 ssga=0x972fa0b8
      user=9d3bc610 session=9d3bc610 count=1 flags=CBK[0020] savepoint=0x0
      LIBRARY OBJECT HANDLE: handle=94197c90 mtx=0x94197dc0(0) lct=1 pct=2 cdp=0
      namespace=CRSR flags=RON/KGHP/PN0/EXP/[10010100]
      kkkk-dddd-llll=0000-0001-0001 lock=N pin=S latch#=5 hpc=0002 hlc=0002
      lwt=0x94197d38[0x94197d38,0x94197d38] ltm=0x94197d48[0x94197d48,0x94197d48]
      pwt=0x94197d00[0x94197d00,0x94197d00] ptm=0x94197d10[0x94197d10,0x94197d10]
      ref=0x94197d68[0x8f270a88,0x8f270a88] lnd=0x94197d80[0x94197d80,0x94197d80]
        LIBRARY OBJECT: object=8f270370
        type=CRSR flags=EXS[0001] pflags=[0000] status=VALD load=0
        DEPENDENCIES: count=1 size=16
        ACCESSES: count=1 size=16
        DATA BLOCKS:
        data#     heap  pointer    status pins change whr
        ----- -------- -------- --------- ---- ------ ---
            0 942be160 8f270488 I/P/A/-/-    0 NONE   00
            6 8f270858 8f2f88a8 I/P/A/-/E    0 NONE   00


knahfhcp=>krvsekd=>krvuam


P0001 正在运行的SQL是:

oct: 0, prv: 0, sql: 0x959ab3c0, psql: (nil), user: 0/SYS


sql: 0x959ab3c0 指向一个伪游标 name=table_e_a_1689_8_0_0 hash=520d270118bdb245a0a8d91c454e89e4

LIBRARY OBJECT: object=8f271078


伪游标 name=table_e_a_1689_8_0_0 说明可能存在LOB 、NCHAR、 NVARCHAR2之类的对象, 可能是LOB对象触发了该ORA-00600: internal error code, arguments: [krvuam1] BUG 。


建议你利用http://t.askmaclean.com/thread-569-1-1.html 中提到的h$pseudo_cursor视图 找出该 table_e_a_1689_8_0_0对应的 OBJECT_NAME, 并确认该OBJECT上是否有LOB之类的字段。

回复 只看该作者 道具 举报

16#
发表于 2012-3-15 21:21:14
EXECUTE SQL STATEMENT:

SELECT * FROM h$pseudo_cursor WHERE PSEUDO_CURSOR='table_e_a_1689_8_0_0';

回复 只看该作者 道具 举报

17#
发表于 2012-3-15 21:29:42
重新启动applier

执行select * from h$pseudo_cursor  where owner!='SYS';

出来的结果:
table_4_9_1689_0_0_0        57f3ztunf9h99        1689        5769        SYSTEM        LOGMNR_AGE_SPILL$

再执行:

desc LOGMNR_AGE_SPILL$

----------------------------------------------
ERROR: object LOGMNR_AGE_SPILL$ does not exist

再次执行 desc system....

得到:

desc system.LOGMNR_AGE_SPILL$
Name       Null     Type      
---------- -------- ----------
SESSION#   NOT NULL NUMBER     
XIDUSN     NOT NULL NUMBER     
XIDSLT     NOT NULL NUMBER     
XIDSQN     NOT NULL NUMBER     
CHUNK      NOT NULL NUMBER(38)
SEQUENCE#  NOT NULL NUMBER     
OFFSET              NUMBER     
SPILL_DATA          BLOB      
SPARE1              NUMBER     
SPARE2              NUMBER

[ 本帖最后由 tohjb 于 2012-3-15 21:34 编辑 ]

回复 只看该作者 道具 举报

18#
发表于 2012-3-15 21:30:47
Action plan:

1. 等待Applyer 再次报错, 上传TRACE文件

2. 报错了立即执行 select * from h$pseudo_cursor   , 将结果保留下来。

回复 只看该作者 道具 举报

19#
发表于 2012-3-15 21:46:25
再次启动applier,会直接报错。

迅速执行上述语句。得到的结果还是:

table_4_9_1689_0_0_0
57f3ztunf9h99
1689
5769
SYSTEM
LOGMNR_AGE_SPILL$

再上传一次trace文件,见附件。

mimo_p001_23602.trc.zip

1.27 MB, 下载次数: 1132

回复 只看该作者 道具 举报

20#
发表于 2012-3-15 21:54:57
SO: 0x9d3b4540, type: 4, owner: 0x9dbbffc0, flag: INIT/-/-/0x00
    (session) sid: 1068 trans: (nil), creator: 0x9dbbffc0, flag: (41) USR/- BSY/-/-/-/-/-
              DID: 0001-0018-000000A6, short-term DID: 0000-0000-00000000
              txn branch: (nil)
              oct: 0, prv: 0, sql: 0x95842098, psql: (nil), user: 0/SYS
    service name: SYS$BACKGROUND

sql: 0x95842098=》

Cursor#2(0x2ac6842117d8) state=NULL curiob=0x2ac6843db890
curflg=1044 fl2=200000 par=(nil) ses=0x9d3b4540
sqltxt(0x95842098)=table_4_9_1689_0_0_0
  hash=0dc4722176605c1753b87fcea8e4c129
  parent=0x950fcc30 maxchild=01 plk=0x97ffab80 ppn=n
cursor instantiation=0x2ac6843db890 used=1331818675
child#0(0x959a4f28) pcs=0x950f45c8
  clk=0x983fe6d8 ci=0x947ff4c0 pn=0x95a0a5d8 ctx=0x947d2360
kgsccflg=0 llk[0x2ac6843db898,0x2ac6843db898] idx=0
xscflg=76 fl2=0 fl3=2002000 fl4=100
Frames pfr (nil) siz=344 efr (nil) siz=328
Cursor frame dump
  enxt: 1.0x00000148
  pnxt: 1.0x00000010


这次问题 确实指向 table_4_9_1689_0_0_0=》SYSTEM.LOGMNR_AGE_SPILL$



查一下有多少条记录:

SELECT COUNT(*) FROM SYSTEM.LOGMNR_AGE_SPILL$;

ANALYZE TABLE SYSTEM.LOGMNR_AGE_SPILL$ VALIDATE STRUCTURE;

回复 只看该作者 道具 举报

21#
发表于 2012-3-15 22:04:43
有1条记录。

analyze后, 再次启动applier。

还是报错.

回复 只看该作者 道具 举报

22#
发表于 2012-3-15 22:06:29
查一下这条记录:


SELECT * FROM SYSTEM.LOGMNR_AGE_SPILL$;

回复 只看该作者 道具 举报

23#
发表于 2012-3-15 22:08:56
1        0        0        0        0        1        57766        (BLOB)               

--查询结果

回复 只看该作者 道具 举报

24#
发表于 2012-3-15 22:09:08
尝试备份 SYSTEM.LOGMNR_AGE_SPILL$上的数据 后删除相关数据

CREATE TABLE BACKUP_LOGMNR_AGE_SPILL$ AS SELECT * FROM SYSTEM.LOGMNR_AGE_SPILL$;

DELETE SYSTEM.LOGMNR_AGE_SPILL$;

回复 只看该作者 道具 举报

25#
发表于 2012-3-15 22:13:36
执行后,启动applier,报以下错误:

Errors in file /oracle/app/oracle/admin/MIMO/bdump/mimo_p001_27599.trc:
ORA-00604: error occurred at recursive SQL level 1
ORA-00942: table or view does not exist
LOGSTDBY status: ORA-00942: table or view does not exist
Thu Mar 15 22:13:05 CST 2012
LOGMINER: Turning ON Log Auto Delete
Thu Mar 15 22:13:05 CST 2012
Errors in file /oracle/app/oracle/admin/MIMO/bdump/mimo_lsp0_27594.trc:
ORA-12801: error signaled in parallel query server P001
ORA-00942: table or view does not exist

回复 只看该作者 道具 举报

26#
发表于 2012-3-15 22:17:56
我最近做过的唯一比较特殊的操作,就是给logical standby 的 USERS表空间,增加了一个datafile。现在是3个datafile了。前两个都有32G了。

回复 只看该作者 道具 举报

27#
发表于 2012-3-15 22:19:13
刚才误操作了。把那个表删了。。我恢复下,再删除数据试试

回复 只看该作者 道具 举报

28#
发表于 2012-3-15 22:20:11
只是 DELETE SYSTEM.LOGMNR_AGE_SPILL$;  并非DROP 这张表啊

/oracle/app/oracle/admin/MIMO/bdump/mimo_p001_27599.trc

TRACE上传

回复 只看该作者 道具 举报

29#
发表于 2012-3-15 22:23:13
恢复表,删除了那条数据。

重启applier,还是报错。

LOGMINER: Begin mining logfile for session 1 thread 1 sequence 18062, /oracle/rman_data/arc_data/standby_logfiles/1_18062_649679917.dbf
Thu Mar 15 22:21:44 CST 2012
Errors in file /oracle/app/oracle/admin/MIMO/bdump/mimo_p001_28126.trc:
ORA-00600: internal error code, arguments: [krvuam1], [0], [], [], [], [], [], []


检查 LOGMNR_AGE_SPILL$里面,现在是没有数据的。

回复 只看该作者 道具 举报

30#
发表于 2012-3-15 22:28:58
重新上传出错的 trace文件。现在那个表里面没有 数据

mimo_p001_28215.trc.zip

2.41 MB, 下载次数: 679

回复 只看该作者 道具 举报

31#
发表于 2012-3-15 22:43:07
name=table_4_9_22612_0_0_0

查下  table_4_9_22612_0_0_0 对应什么

回复 只看该作者 道具 举报

32#
发表于 2012-3-15 22:48:24
LOGMNR_AGE_SPILL$, 还是这个表

回复 只看该作者 道具 举报

33#
发表于 2012-3-15 22:57:22
看起来 10.2.0.5 也没有真正意义上修复这个 BUG(假设你的Upgrade升级没有问题的话), 建议你提交SR 要求 MOS开发相关补丁。

回复 只看该作者 道具 举报

34#
发表于 2012-3-15 23:04:03
应该升级没有问题! 能帮忙像MOS提交下吗? 谢谢!!! 如果不行,我再想想办法。。

dave:/home/oracle>$ORACLE_HOME/OPatch/opatch version
Invoking OPatch 10.2.0.5.1

OPatch Version: 10.2.0.5.1

OPatch succeeded.



$ORACLE_HOME/OPatch/opatch lsinv -bugs_fixed|grep PSU
            ENCAPSULATED BY EXCEPTION HANDLING
9952230    13343471  Tue Mar 13 17:13:13 CST 2012   DATABASE PSU 10.2.0.5.1 (INCLUDES CPUOCT2010)
10248542   13343471  Tue Mar 13 17:13:13 CST 2012   DATABASE PSU 10.2.0.5.2 (INCLUDES CPUJAN2011)
11724962   13343471  Tue Mar 13 17:13:13 CST 2012   DATABASE PSU 10.2.0.5.3 (INCLUDES CPUAPR2011)
12419392   13343471  Tue Mar 13 17:13:13 CST 2012   DATABASE PSU 10.2.0.5.4 (INCLUDES CPUJUL2011)
12827745   13343471  Tue Mar 13 17:13:13 CST 2012   DATABASE PSU 10.2.0.5.5 (INCLUDES CPUOCT2011)
13343471   13343471  Tue Mar 13 17:13:13 CST 2012   DATABASE PSU 10.2.0.5.6 (INCLUDES CPUJAN2012)
13349665   13343471  Tue Mar 13 17:13:13 CST 2012   ORA-600 [KKSLMTL-VALNOTFOUND] WITH PSU 10.2.0.5.5

回复 只看该作者 道具 举报

您需要登录后才可以回帖 登录 | 注册

QQ|手机版|Archiver|Oracle数据库数据恢复、性能优化

GMT+8, 2024-12-24 03:48 , Processed in 0.064030 second(s), 25 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部
TEL/電話+86 13764045638
Email service@parnassusdata.com
QQ 47079569