Oracle数据库数据恢复、性能优化

找回密码
注册
搜索
热搜: 活动 交友 discuz
发新帖

20

积分

0

好友

5

主题
1#
发表于 2012-12-11 16:37:34 | 查看: 8544| 回复: 8
本帖最后由 fiozhang 于 2012-12-12 10:26 编辑

数据库 11gr2 11.2.0.3
服务器 win2008 r2
3个节点分别为 oracle1,oracle2,oracle3

早上8点半到公司发现网站应用打不开,显示连接数据库超时。
在应用服务器tnsping失败,ping scan也失败。
连接到oracle1上crs_stat -t 失败。重启后正常。(oracle3同样的情况)

请各位帮我分析下是什么原因造成最后crs挂了?




凌晨1点的时候oracle2的内存坏了死机
oracle1上的部分日志:
2012-12-11 01:11:38.839
[cssd(4792)]CRS-1612:50% 的超时时间间隔内缺少与节点 oracle2 (2) 的网络通信。将在 14.009 秒后从集群中删除此节点
2012-12-11 01:11:45.937
[cssd(4792)]CRS-1611:75% 的超时时间间隔内缺少与节点 oracle2 (2) 的网络通信。将在 6.911 秒后从集群中删除此节点
2012-12-11 01:11:49.993
[cssd(4792)]CRS-1610:90% 的超时时间间隔内缺少与节点 oracle2 (2) 的网络通信。将在 2.855 秒后从集群中删除此节点
2012-12-11 01:11:52.863
[cssd(4796)]CRS-1632:节点 oracle2 正在从集群副本 198267085 的集群中删除
2012-12-11 01:11:53.081
[cssd(6512)]CRS-1601:CSSD 重新配置完毕。活动节点为 oracle1 oracle3 。
2012-12-11 01:12:53.142
[D:\app\11.2.0\grid_3\bin\orarootagent.exe(6188)]CRS-5818:已中止命令 'start' (对于资源 'ora.scan1.vip')。详细资料见 (:CRSAGF00113:) {3:44067:1244} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\orarootagent\orarootagent.log)。
2012-12-11 01:12:53.344
[D:\app\11.2.0\grid_3\bin\orarootagent.exe(11420)]CRS-5818:已中止命令 'start' (对于资源 'ora.oracle2.vip')。详细资料见 (:CRSAGF00113:) {3:44067:1244} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\orarootagent\orarootagent.log)。
2012-12-11 01:13:57.242
[D:\app\11.2.0\grid_3\bin\orarootagent.exe(11420)]CRS-5818:已中止命令 'start' (对于资源 'ora.oratt2-vip.vip')。详细资料见 (:CRSAGF00113:) {3:44067:1244} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\orarootagent\orarootagent.log)。

orarootagent.log已经附上
oracle1与oracle3的windows系统日志报错部分也已上传

2楼继续

orarootagent.rar

145.85 KB, 下载次数: 967

系统日志.rar

891 Bytes, 下载次数: 955

2#
发表于 2012-12-11 16:51:53
本帖最后由 fiozhang 于 2012-12-12 10:43 编辑

接着到早上7点突然开始报错,oracle1与oracle3都出现问题


2012-12-11 07:15:24.088
[D:\app\11.2.0\grid_3\bin\oraagent.exe(9048)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER_SCAN2.lsnr')。详细资料见 (:CRSAGF00113:) {2:3101:379} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:16:54.740
[D:\app\11.2.0\grid_3\bin\oraagent.exe(6760)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER.lsnr')。详细资料见 (:CRSAGF00113:) {0:3:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:16:54.740
[D:\app\11.2.0\grid_3\bin\oraagent.exe(8600)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER_SCAN2.lsnr')。详细资料见 (:CRSAGF00113:) {0:3:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:16:54.740
[D:\app\11.2.0\grid_3\bin\oraagent.exe(7780)]CRS-5818:已中止命令 'check' (对于资源 'ora.asm')。详细资料见 (:CRSAGF00113:) {0:3:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:18:25.392
[D:\app\11.2.0\grid_3\bin\oraagent.exe(3192)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER.lsnr')。详细资料见 (:CRSAGF00113:) {0:4:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:18:25.392
[D:\app\11.2.0\grid_3\bin\oraagent.exe(5324)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER_SCAN2.lsnr')。详细资料见 (:CRSAGF00113:) {0:4:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:18:25.392
[D:\app\11.2.0\grid_3\bin\oraagent.exe(10136)]CRS-5818:已中止命令 'check' (对于资源 'ora.asm')。详细资料见 (:CRSAGF00113:) {0:4:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:19:56.028
[D:\app\11.2.0\grid_3\bin\oraagent.exe(8868)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER.lsnr')。详细资料见 (:CRSAGF00113:) {0:5:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:19:56.028
[D:\app\11.2.0\grid_3\bin\oraagent.exe(9512)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER_SCAN2.lsnr')。详细资料见 (:CRSAGF00113:) {0:5:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:19:56.028
[D:\app\11.2.0\grid_3\bin\oraagent.exe(13588)]CRS-5818:已中止命令 'check' (对于资源 'ora.asm')。详细资料见 (:CRSAGF00113:) {0:5:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:21:26.664
[D:\app\11.2.0\grid_3\bin\oraagent.exe(14232)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER_SCAN2.lsnr')。详细资料见 (:CRSAGF00113:) {0:6:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:21:26.664
[D:\app\11.2.0\grid_3\bin\oraagent.exe(3168)]CRS-5818:已中止命令 'check' (对于资源 'ora.asm')。详细资料见 (:CRSAGF00113:) {0:6:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:21:26.664
[D:\app\11.2.0\grid_3\bin\oraagent.exe(3544)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER.lsnr')。详细资料见 (:CRSAGF00113:) {0:6:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:22:15.601
[D:\app\11.2.0\grid_3/bin/orarootagent.exe(4904)]CRS-5818:已中止命令 'check' (对于资源 'ora.crsd')。详细资料见 (:CRSAGF00113:) {0:0:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\ohasd\orarootagent\orarootagent.log)。
2012-12-11 07:22:57.300
[D:\app\11.2.0\grid_3\bin\oraagent.exe(10848)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER.lsnr')。详细资料见 (:CRSAGF00113:) {0:7:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:22:57.300
[D:\app\11.2.0\grid_3\bin\oraagent.exe(10648)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER_SCAN2.lsnr')。详细资料见 (:CRSAGF00113:) {0:7:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:22:57.300
[D:\app\11.2.0\grid_3\bin\oraagent.exe(7112)]CRS-5818:已中止命令 'check' (对于资源 'ora.asm')。详细资料见 (:CRSAGF00113:) {0:7:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:24:27.936
[D:\app\11.2.0\grid_3\bin\oraagent.exe(8104)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER.lsnr')。详细资料见 (:CRSAGF00113:) {0:8:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:24:27.936
[D:\app\11.2.0\grid_3\bin\oraagent.exe(11784)]CRS-5818:已中止命令 'check' (对于资源 'ora.LISTENER_SCAN2.lsnr')。详细资料见 (:CRSAGF00113:) {0:8:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:24:27.936
[D:\app\11.2.0\grid_3\bin\oraagent.exe(7568)]CRS-5818:已中止命令 'check' (对于资源 'ora.asm')。详细资料见 (:CRSAGF00113:) {0:8:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\oraagent\oraagent.log)。
2012-12-11 07:25:28.418
[crsd(4940)]CRS-5831:代理 'D:\app\11.2.0\grid_3\bin\oraagent.exe' 已超出最大故障次数并已被禁用。详细资料见 (:CRSAGF00129:) {1:29976:21090} (位于 D:\app\11.2.0\grid_3\log\oracle1\crsd\crsd.log)。
2012-12-11 07:27:28.959
[cssd(1424)]CRS-1663:PID 6084-14292-129990631244298152 针对 1 个成员, 组 DBORCL 发出了终止成员请求。详细资料见 (:CSSGM00044:) (位于 D:\app\11.2.0\grid_3\log\oracle1\cssd\ocssd.log)。
2012-12-11 07:38:16.079
[D:\app\11.2.0\grid_3/bin/orarootagent.exe(4892)]CRS-5818:已中止命令 'check' (对于资源 'ora.crsd')。详细资料见 (:CRSAGF00113:) {0:0:2} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\ohasd\orarootagent\orarootagent.log)。
2012-12-11 07:38:33.567
[ctssd(5100)]CRS-2409:主机 oracle1 上的时钟与集群标准时间不同步。由于集群时间同步服务正在以观察程序模式运行, 所以未采取任何操作。
2012-12-11 07:41:00.051
[crsd(4324)]CRS-1008:节点 oracle3 未响应 OCR 请求。详细资料见 D:\app\11.2.0\grid_3\log\oracle1\crsd\crsd.log。
2012-12-11 07:42:56.162
[crsd(4324)]CRS-1008:节点 oracle3 未响应 OCR 请求。详细资料见 D:\app\11.2.0\grid_3\log\oracle1\crsd\crsd.log。

附上附件
里面有oracle1与oracle3的crs日志与rdbms日志
及rdbms日志中涉及到的几个trace日志

alterlog.rar

22.82 KB, 下载次数: 884

trace日志.rar

64.85 KB, 下载次数: 905

回复 只看该作者 道具 举报

3#
发表于 2012-12-11 16:56:36
你的问题是什么呢?

回复 只看该作者 道具 举报

4#
发表于 2012-12-12 08:24:27
1点时候的问题应该是oracle1 oracle3获取vip与sanip时出了错误,但是想不通啊7点时候突然间两个节点都通信故障了

回复 只看该作者 道具 举报

5#
发表于 2012-12-12 08:59:57
果然是新人贴  请在描述故障时使用客观语言 说明现在存在的问题以及操作过程

并上传相对应的系统日志

请勿在咨询问题是发表自己的主观看法以及处理思路 以免误导他人

回复 只看该作者 道具 举报

6#
发表于 2012-12-12 09:13:27
好的,马上编辑

回复 只看该作者 道具 举报

7#
发表于 2012-12-12 15:45:00
已补上系统日志了,新人发帖很多不规范,以后改进

回复 只看该作者 道具 举报

8#
发表于 2012-12-12 16:08:04
  1. oracle1:


  2. 2012-12-11 01:11:38.839
  3. [cssd(4792)]CRS-1612:50% 的超时时间间隔内缺少与节点 oracle2 (2) 的网络通信。将在 14.009 秒后从集群中删除此节点
  4. 2012-12-11 01:11:45.937
  5. [cssd(4792)]CRS-1611:75% 的超时时间间隔内缺少与节点 oracle2 (2) 的网络通信。将在 6.911 秒后从集群中删除此节点
  6. 2012-12-11 01:11:49.993
  7. [cssd(4792)]CRS-1610:90% 的超时时间间隔内缺少与节点 oracle2 (2) 的网络通信。将在 2.855 秒后从集群中删除此节点
  8. 2012-12-11 01:11:52.863
  9. [cssd(4796)]CRS-1632:节点 oracle2 正在从集群副本 198267085 的集群中删除
  10. 2012-12-11 01:11:53.081
  11. [cssd(6512)]CRS-1601:CSSD 重新配置完毕。活动节点为 oracle1 oracle3 。
  12. 2012-12-11 01:12:53.142
  13. [D:\app\11.2.0\grid_3\bin\orarootagent.exe(6188)]CRS-5818:已中止命令 'start' (对于资源 'ora.scan1.vip')。详细资料见 (:CRSAGF00113:) {3:44067:1244} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\orarootagent\orarootagent.log)。
  14. 2012-12-11 01:12:53.344
  15. [D:\app\11.2.0\grid_3\bin\orarootagent.exe(11420)]CRS-5818:已中止命令 'start' (对于资源 'ora.oracle2.vip')。详细资料见 (:CRSAGF00113:) {3:44067:1244} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\orarootagent\orarootagent.log)。
  16. 2012-12-11 01:13:57.242
  17. [D:\app\11.2.0\grid_3\bin\orarootagent.exe(11420)]CRS-5818:已中止命令 'start' (对于资源 'ora.oratt2-vip.vip')。详细资料见 (:CRSAGF00113:) {3:44067:1244} (位于 D:\app\11.2.0\grid_3\log\oracle1\agent\crsd\orarootagent\orarootagent.log)。
  18. 2012-12-11 01:37:43.709
  19. [ctssd(5100)]CRS-2409:主机 oracle1 上的时钟与集群标准时间不同步。由于集群时间同步服务正在以观察程序模式运行, 所以未采取任何操作。
  20. 2012-12-11 02:07:47.883


  21. Oracle Database 11g Clusterware Release 11.2.0.3.0 - Production Copyright 1996, 2011 Oracle. All rights reserved.
  22. 2012-12-11 01:11:37.886
  23. [cssd(4032)]CRS-1612:50% 的超时时间间隔内缺少与节点 oracle2 (2) 的网络通信。将在 14.212 秒后从集群中删除此节点
  24. 2012-12-11 01:11:44.984
  25. [cssd(4032)]CRS-1611:75% 的超时时间间隔内缺少与节点 oracle2 (2) 的网络通信。将在 7.114 秒后从集群中删除此节点
  26. 2012-12-11 01:11:50.054
  27. [cssd(4032)]CRS-1610:90% 的超时时间间隔内缺少与节点 oracle2 (2) 的网络通信。将在 2.044 秒后从集群中删除此节点
  28. 2012-12-11 01:11:52.316
  29. [cssd(7804)]CRS-1601:CSSD 重新配置完毕。活动节点为 oracle1 oracle3 。
  30. 2012-12-11 01:11:52.332
  31. [crsd(4416)]CRS-5504:已报告节点 'oracle2' 的节点关闭事件。
  32. 2012-12-11 01:12:52.376
  33. [D:\app\11.2.0\grid_3\bin\orarootagent.exe(8108)]CRS-5818:已中止命令 'start' (对于资源 'ora.oratt2-vip.vip')。详细资料见 (:CRSAGF00113:) {3:44067:1244} (位于 D:\app\11.2.0\grid_3\log\oracle3\agent\crsd\orarootagent\orarootagent.log)。
  34. 2012-12-11 01:12:56.401
  35. [crsd(4416)]CRS-2757:命令 'Start' 在等待来自资源 'ora.oratt2-vip.vip' 的响应时超时。详细资料见 (:CRSPE00111:) {3:44067:1244} (位于 D:\app\11.2.0\grid_3\log\oracle3\crsd\crsd.log)。
  36. 2012-12-11 01:12:56.417
  37. [crsd(4416)]CRS-2757:命令 'Start' 在等待来自资源 'ora.scan1.vip' 的响应时超时。详细资料见 (:CRSPE00111:) {3:44067:1244} (位于 D:\app\11.2.0\grid_3\log\oracle3\crsd\crsd.log)。
  38. 2012-12-11 01:12:56.729
复制代码
可以明确的是 2012-12-11 01:11:37.886 节点2的心跳网络出现了问题 被驱逐了
  1. Receiver: inst 3 binc 56158 ospid 5300
  2. Errors in file D:\APP\ADMINISTRATOR\diag\rdbms\orcl\orcl1\trace\orcl1_ping_8188.trc:
  3. ORA-27508: ??????? IPC ??
  4. ORA-27300: ??????????: IPC_DispatchSend ??, ???: 64
  5. ORA-27301: ????????: 指定的网络名不再可用。
  6. ORA-27302: ?????: dispsend_1
  7. Tue Dec 11 07:26:19 2012
  8. IPC Send timeout detected. Sender: ospid 5364 [ORACLE.EXE (LMS0)]
  9. Receiver: inst 3 binc 56265 ospid 5224
  10. Errors in file D:\APP\ADMINISTRATOR\diag\rdbms\orcl\orcl1\trace\orcl1_lms0_5364.trc:
  11. ORA-27508: 鍙戦€佷俊鎭椂鍙戠敓 IPC 閿欒
  12. ORA-27300: 鎿嶄綔绯荤粺绯荤粺鐩稿叧鎿嶄綔: IPCSOCK_Send 澶辫触, 鐘舵€佷负: 10054
  13. ORA-27301: 鎿嶄綔绯荤粺鏁呴殰娑堟伅: 远程主机强迫关闭了一个现有的连接。
  14. ORA-27302: 閿欒鍙戠敓鍦? send_3
  15. IPC Send timeout to 3.1 inc 72 for msg type 34 from opid 13
  16. Tue Dec 11 07:26:21 2012
  17. Communications reconfiguration: instance_number 3
  18. Tue Dec 11 07:27:08 2012
  19. Detected an inconsistent instance membership by instance 1
  20. Evicting instance 3 from cluster
  21. Waiting for instances to leave: 3
  22. Tue Dec 11 07:27:09 2012
  23. Dumping diagnostic data in directory=[cdmp_20121211072709], requested by (instance=3, osid=5212 (LMD0)), summary=[abnormal instance termination].
  24. Tue Dec 11 07:27:28 2012
  25. Remote instance kill is issued with system inc 74
  26. Remote instance kill map (size 1) : 3
  27. LMON received an instance eviction notification from instance 1
  28. The instance eviction reason is 0x20000000
  29. The instance eviction map is 3
  30. Waiting for instances to leave: 3
  31. Tue Dec 11 07:28:08 2012
  32. Waiting for instances to leave: 3
  33. Tue Dec 11 07:28:33 2012
  34. No Cluster Synchronization Service reconfig event in 65 seconds
  35. Waiting for instances to leave: 3
  36. Tue Dec 11 07:29:08 2012
  37. Waiting for instances to leave: 3
  38. Tue Dec 11 07:29:38 2012
  39. Waiting for instances to leave: 3
  40. Tue Dec 11 07:30:08 2012
  41. Waiting for instances to leave: 3
  42. Tue Dec 11 07:30:38 2012
  43. Waiting for instances to leave: 3
  44. Tue Dec 11 07:31:08 2012
  45. Waiting for instances to leave: 3
  46. Tue Dec 11 07:31:33 2012
  47. LMS1 (ospid: 10888) has detected no messaging activity from instance 3
  48. LMS1 (ospid: 10888) issues an IMR to resolve the situation
  49. Please check LMS1 trace file for more detail.
  50. Tue Dec 11 07:31:38 2012
  51. Waiting for instances to leave: 3
  52. Tue Dec 11 07:32:08 2012
  53. Waiting for instances to leave: 3
  54. Tue Dec 11 07:32:38 2012
  55. Waiting for instances to leave: 3
  56. Tue Dec 11 07:32:38 2012
  57. IPC Send timeout detected. Sender: ospid 8188 [ORACLE.EXE (PING)]
  58. Receiver: inst 3 binc 56158 ospid 5300
  59. Errors in file D:\APP\ADMINISTRATOR\diag\rdbms\orcl\orcl1\trace\orcl1_ping_8188.trc:
  60. ORA-27508: ??????? IPC ??
  61. ORA-27300: ??????????: IPCSOCK_Send ??, ???: 10054
  62. ORA-27301: ????????: 远程主机强迫关闭了一个现有的连接。
  63. ORA-27302: ?????: send_3
  64. Tue Dec 11 07:32:44 2012
  65. LMD0 (ospid: 10824) has detected no messaging activity from instance 3
  66. LMD0 (ospid: 10824) issues an IMR to resolve the situation
  67. Please check LMD0 trace file for more detail.
  68. Tue Dec 11 07:33:08 2012
  69. Waiting for instances to leave: 3
  70. Tue Dec 11 07:33:20 2012
  71. IPC Send timeout detected. Sender: ospid 11512 [ORACLE.EX
复制代码
之后 oracle1 上的db instance一直在等 instance 3 离开集群, 显然其网络还是有问题的,  请至少理清 该 3台主机在问题时间的 网络拓扑 实际情况,否则无法进一步诊断。

回复 只看该作者 道具 举报

9#
发表于 2012-12-13 11:39:03
本帖最后由 fiozhang 于 2012-12-13 11:40 编辑
  1. *** 2012-12-11 07:19:28.868
  2. IPC Send timeout detected. Sender: ospid 8188 [ORACLE.EXE (PING)]
  3. Receiver: inst 3 binc 56158 ospid 5300
  4. ORA-27508: ??????? IPC ??
  5. ORA-27300: ??????????: IPC_DispatchSend ??, ???: 64
  6. ORA-27301: ????????: 指定的网络名不再可用。
  7. ORA-27302: ?????: dispsend_1
  8. IPC_SetStateOverlap:  failed to find ctx 000000000EF3A4C0, cookie 000000000F7E3008, state 0x40ksxp_PING_scb: send timeout or failure to inst(3) status(31)
复制代码
请问这一段中的IPC Send超时,是不是指两个节点间的private网络出了错?
与共享存储有没有关系,系统日志中7:14分报了一个共享存储连接失败。

回复 只看该作者 道具 举报

您需要登录后才可以回帖 登录 | 注册

QQ|手机版|Archiver|Oracle数据库数据恢复、性能优化

GMT+8, 2024-11-16 04:15 , Processed in 0.054238 second(s), 23 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部
TEL/電話+86 13764045638
Email service@parnassusdata.com
QQ 47079569