gc cr block lost 很高

yobyin

suse 10  
三个rac 节点，以前运行正常，22号变的缓慢，平时很快的也很慢.
附件是其中一个节点的awr .
现把第一个节点 rac 1 stop ,用 rac2 rac3  工作正常。
单用rac1 也正常，但只要rac1 与其它节点一起运行就有问题
现在rac 1  alert .log 里发现
Thread 1 advanced to log sequence 13199 (LGWR switch)
  Current log# 34 seq# 13199 mem# 0: +ASMREDO1/redo_1_34_01.log
Fri Jun 22 14:18:43 2012
Suspending MMON slave action kewrmafsa_ for 82800 seconds
Fri Jun 22 14:18:58 2012
Reconfiguration started (old inc 6, new inc 8)
List of nodes:
0 1
Global Resource Directory frozen
* dead instance detected - domain 0 invalid = TRUE
Communication channels reestablished
Fri Jun 22 14:18:58 2012
* domain 0 not valid according to instance 1
Master broadcasted resource hash value bitmaps
Non-local Process blocks cleaned out
Fri Jun 22 14:18:59 2012
LMS 1: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
Fri Jun 22 14:18:59 2012
LMS 0: 3 GCS shadows cancelled, 0 closed, 0 Xw survived
Fri Jun 22 14:18:59 2012
LMS 2: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
Set master node info
Submitted all remote-enqueue requests
Dwn-cvts replayed, VALBLKs dubious
All grantable enqueues granted
Post SMON to start 1st pass IR
Fri Jun 22 14:19:00 2012



Top 5 Timed Foreground Events

Event	Waits	Time(s)	Avg wait (ms)	% DB time	Wait Class
DB CPU		23,678		45.94
gc cr block lost	22,846	15,377	673	29.83	Cluster
db file sequential read	500,797	4,596	9	8.92	User I/O
direct path read temp	76,901	2,217	29	4.30	User I/O
direct path write temp	15,650	591	38	1.15	User I/O

yobyin

参考http://www.oracledatabase12g.com ... ks-diagnostics.html

yobyin

Global Cache Load Profile

Per Second Per Transaction
Global Cache blocks received: 74.50 13.17
Global Cache blocks served: 63.80 11.28
GCS/GES messages received: 535.18 94.62
GCS/GES messages sent: 559.02 98.83
DBWR Fusion writes: 7.72 1.37
Estd Interconnect traffic (KB) 1,320.09  这个是不是有点小呀

Maclean Liu(刘相兵

请提供 network 的信息

netstat -s
netstat -a
ifconfig -a


cat /etc/sysctl.conf

yobyin

出问题的节点
SSH Secure Shell 3.2.9 (Build 282)
Copyright (c) 2000-2003 SSH Communications Security Corp - http://www.ssh.com/

This copy of SSH Secure Shell is a non-commercial version.
This version does not include PKI and PKCS #11 functionality.


Last login: Tue Jun 26 14:00:41 2012 from 192.168.17.7
rac1:~ # su - oracle
oracle@rac1:~> netstat -s
Ip:
    1441377 total packets received
    736242 with invalid addresses
    0 forwarded
    0 incoming packets discarded
    703415 incoming packets delivered
    498870 requests sent out
    2002 reassemblies required
    282 packets reassembled ok
    180 fragments received ok
Icmp:
    234 ICMP messages received
    0 input ICMP message failed.
    ICMP input histogram:
        destination unreachable: 52
        echo requests: 30
        echo replies: 152
    687 ICMP messages sent
    0 ICMP messages failed
    ICMP output histogram:
        destination unreachable: 657
        echo replies: 30
Tcp:
    212 active connections openings
    5587 passive connection openings
    0 failed connection attempts
    7 connection resets received
    3 connections established
    477760 segments received
    476766 segments send out
    134 segments retransmited
    0 bad segments received.
    375460 resets sent
Udp:
    21310 packets received
    654 packets to unknown port received.
    0 packet receive errors
    21360 packets sent
TcpExt:
    3 invalid SYN cookies received
    ArpFilter: 0
    3442 TCP sockets finished time wait in fast timer
    918 delayed acks sent
    Quick ack mode was activated 16 times
    6052 packets directly queued to recvmsg prequeue.
    9715 packets directly received from backlog
    4121420 packets directly received from prequeue
    19403 packets header predicted
    4395 packets header predicted and directly queued to user
    TCPPureAcks: 35296
    TCPHPAcks: 29999
    TCPRenoRecovery: 0
    TCPSackRecovery: 3
    TCPSACKReneging: 0
    TCPFACKReorder: 0
    TCPSACKReorder: 0
    TCPRenoReorder: 0
    TCPTSReorder: 0
    TCPFullUndo: 0
    TCPPartialUndo: 0
    TCPDSACKUndo: 0
    TCPLossUndo: 53
    TCPLoss: 0
    TCPLostRetransmit: 0
    TCPRenoFailures: 0
    TCPSackFailures: 8
    TCPLossFailures: 0
    TCPFastRetrans: 4
    TCPForwardRetrans: 1
    TCPSlowStartRetrans: 2
    TCPTimeouts: 104
    TCPRenoRecoveryFail: 0
    TCPSackRecoveryFail: 2
    TCPSchedulerFailed: 0
    TCPRcvCollapsed: 0
    TCPDSACKOldSent: 42
    TCPDSACKOfoSent: 0
    TCPDSACKRecv: 1
    TCPDSACKOfoRecv: 0
    TCPAbortOnSyn: 0
    TCPAbortOnData: 1
    TCPAbortOnClose: 0
    TCPAbortOnMemory: 0
    TCPAbortOnTimeout: 0
    TCPAbortOnLinger: 0
    TCPAbortFailed: 0
    TCPMemoryPressures: 0
oracle@rac1:~> netstat -a
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State      
tcp        0      0 *:5801                  *:*                     LISTEN      
tcp        0      0 rac1:svrloc             *:*                     LISTEN      
tcp        0      0 rac1_heart:svrloc       *:*                     LISTEN      
tcp        0      0 localhost:svrloc        *:*                     LISTEN      
tcp        0      0 *:5901                  *:*                     LISTEN      
tcp        0      0 *:sunrpc                *:*                     LISTEN      
tcp        0      0 localhost:novell-zen    *:*                     LISTEN      
tcp        0      0 *:ftp                   *:*                     LISTEN      
tcp        0      0 *:ssh                   *:*                     LISTEN      
tcp        0      0 *:ipp                   *:*                     LISTEN      
tcp        0      0 *:telnet                *:*                     LISTEN      
tcp        0      0 *:smtp                  *:*                     LISTEN      
tcp        0      0 rac1:ssh                192.168.17.7:49496      ESTABLISHED
tcp        0      0 rac1:64621              58.251.152.76:smtp      ESTABLISHED
tcp        0      0 rac1:33249              58.251.152.76:smtp      ESTABLISHED
udp        0      0 255.255.255.255:svrloc  *:*                                 
udp        0      0 rac1:svrloc             *:*                                 
udp        0      0 224.0.1.22:svrloc       *:*                                 
udp        0      0 239.255.255.253:svrloc  *:*                                 
udp        0      0 rac1_heart:svrloc       *:*                                 
udp        0      0 224.0.1.22:svrloc       *:*                                 
udp        0      0 239.255.255.253:svrloc  *:*                                 
udp        0      0 *:xdmcp                 *:*                                 
udp        0      0 *:sunrpc                *:*                                 
udp        0      0 *:ipp                   *:*                                 
udp        0      0 rac1:ntp                *:*                                 
udp        0      0 rac1_heart:ntp          *:*                                 
udp        0      0 127.0.0.2:ntp           *:*                                 
udp        0      0 localhost:ntp           *:*                                 
udp        0      0 *:ntp                   *:*                                 
Active UNIX domain sockets (servers and established)
Proto RefCnt Flags       Type       State         I-Node Path
unix  2      [ ACC ]     STREAM     LISTENING     13824  /var/run/dbus/system_bus_socket
unix  2      [ ACC ]     STREAM     LISTENING     23504  private/bounce
unix  2      [ ACC ]     STREAM     LISTENING     13920  @/tmp/hald-local/dbus-fYaAyhBsHO
unix  2      [ ACC ]     STREAM     LISTENING     23103  /var/run/nscd/socket
unix  2      [ ]         DGRAM                    13922  @/var/run/hal/hotplug_socket2
unix  2      [ ACC ]     STREAM     LISTENING     23508  private/defer
unix  2      [ ACC ]     STREAM     LISTENING     13760  /var/run/.resmgr_socket
unix  2      [ ACC ]     STREAM     LISTENING     13818  /var/run/acpid.socket
unix  2      [ ACC ]     STREAM     LISTENING     23333  /tmp/.gdm_socket
unix  2      [ ]         DGRAM                    5972   @/org/kernel/udev/udevd
unix  2      [ ACC ]     STREAM     LISTENING     23025  /var/run/zmd/zmd-remoting.socket
unix  2      [ ACC ]     STREAM     LISTENING     23027  /var/run/zmd/zmd-web.socket
unix  2      [ ACC ]     STREAM     LISTENING     23372  /tmp/.X11-unix/X0
unix  2      [ ]         DGRAM                    13921  @/org/freedesktop/hal/udev_event
unix  2      [ ACC ]     STREAM     LISTENING     23487  public/cleanup
unix  2      [ ACC ]     STREAM     LISTENING     23496  private/tlsmgr
unix  2      [ ACC ]     STREAM     LISTENING     23500  private/rewrite
unix  2      [ ACC ]     STREAM     LISTENING     23512  private/trace
unix  5      [ ]         DGRAM                    2722988 /dev/log
unix  2      [ ACC ]     STREAM     LISTENING     23516  private/verify
unix  2      [ ACC ]     STREAM     LISTENING     23520  public/flush
unix  2      [ ACC ]     STREAM     LISTENING     23524  private/proxymap
unix  2      [ ACC ]     STREAM     LISTENING     23528  private/smtp
unix  2      [ ACC ]     STREAM     LISTENING     23532  private/relay
unix  2      [ ACC ]     STREAM     LISTENING     23536  public/showq
unix  2      [ ACC ]     STREAM     LISTENING     23540  private/error
unix  2      [ ACC ]     STREAM     LISTENING     23544  private/discard
unix  2      [ ACC ]     STREAM     LISTENING     23548  private/local
unix  2      [ ACC ]     STREAM     LISTENING     23552  private/virtual
unix  2      [ ACC ]     STREAM     LISTENING     23556  private/lmtp
unix  2      [ ACC ]     STREAM     LISTENING     23560  private/anvil
unix  2      [ ACC ]     STREAM     LISTENING     23564  private/scache
unix  2      [ ACC ]     STREAM     LISTENING     23568  private/maildrop
unix  2      [ ACC ]     STREAM     LISTENING     23572  private/cyrus
unix  2      [ ACC ]     STREAM     LISTENING     23576  private/uucp
unix  2      [ ACC ]     STREAM     LISTENING     23580  private/ifmail
unix  2      [ ACC ]     STREAM     LISTENING     23584  private/bsmtp
unix  2      [ ACC ]     STREAM     LISTENING     23588  private/procmail

yobyin

unix  2      [ ]         DGRAM                    5103472
unix  2      [ ]         DGRAM                    5001994
unix  2      [ ]         DGRAM                    3160024
unix  3      [ ]         STREAM     CONNECTED     24153  /tmp/.X11-unix/X0
unix  3      [ ]         STREAM     CONNECTED     24152  
unix  3      [ ]         STREAM     CONNECTED     24151  /tmp/.X11-unix/X0
unix  3      [ ]         STREAM     CONNECTED     24150  
unix  3      [ ]         STREAM     CONNECTED     23712  /var/run/acpid.socket
unix  3      [ ]         STREAM     CONNECTED     23711  
unix  3      [ ]         STREAM     CONNECTED     23591  
unix  3      [ ]         STREAM     CONNECTED     23590  
unix  3      [ ]         STREAM     CONNECTED     23587  
unix  3      [ ]         STREAM     CONNECTED     23586  
unix  3      [ ]         STREAM     CONNECTED     23583  
unix  3      [ ]         STREAM     CONNECTED     23582  
unix  3      [ ]         STREAM     CONNECTED     23579  
unix  3      [ ]         STREAM     CONNECTED     23578  
unix  3      [ ]         STREAM     CONNECTED     23575  
unix  3      [ ]         STREAM     CONNECTED     23574  
unix  3      [ ]         STREAM     CONNECTED     23571  
unix  3      [ ]         STREAM     CONNECTED     23570  
unix  3      [ ]         STREAM     CONNECTED     23567  
unix  3      [ ]         STREAM     CONNECTED     23566  
unix  3      [ ]         STREAM     CONNECTED     23563  
unix  3      [ ]         STREAM     CONNECTED     23562  
unix  3      [ ]         STREAM     CONNECTED     23559  
unix  3      [ ]         STREAM     CONNECTED     23558  
unix  3      [ ]         STREAM     CONNECTED     23555  
unix  3      [ ]         STREAM     CONNECTED     23554  
unix  3      [ ]         STREAM     CONNECTED     23551  
unix  3      [ ]         STREAM     CONNECTED     23550  
unix  3      [ ]         STREAM     CONNECTED     23547  
unix  3      [ ]         STREAM     CONNECTED     23546  
unix  3      [ ]         STREAM     CONNECTED     23543  
unix  3      [ ]         STREAM     CONNECTED     23542  
unix  3      [ ]         STREAM     CONNECTED     23539  
unix  3      [ ]         STREAM     CONNECTED     23538  
unix  3      [ ]         STREAM     CONNECTED     23535  
unix  3      [ ]         STREAM     CONNECTED     23534  
unix  3      [ ]         STREAM     CONNECTED     23531  
unix  3      [ ]         STREAM     CONNECTED     23530  
unix  3      [ ]         STREAM     CONNECTED     23527  
unix  3      [ ]         STREAM     CONNECTED     23526  
unix  3      [ ]         STREAM     CONNECTED     23523  
unix  3      [ ]         STREAM     CONNECTED     23522  
unix  3      [ ]         STREAM     CONNECTED     23519  
unix  3      [ ]         STREAM     CONNECTED     23518  
unix  3      [ ]         STREAM     CONNECTED     23515  
unix  3      [ ]         STREAM     CONNECTED     23514  
unix  3      [ ]         STREAM     CONNECTED     23511  
unix  3      [ ]         STREAM     CONNECTED     23510  
unix  3      [ ]         STREAM     CONNECTED     23507  
unix  3      [ ]         STREAM     CONNECTED     23506  
unix  3      [ ]         STREAM     CONNECTED     23503  
unix  3      [ ]         STREAM     CONNECTED     23502  
unix  3      [ ]         STREAM     CONNECTED     23499  
unix  3      [ ]         STREAM     CONNECTED     23498  
unix  3      [ ]         STREAM     CONNECTED     23495  
unix  3      [ ]         STREAM     CONNECTED     23494  
unix  3      [ ]         STREAM     CONNECTED     23492  
unix  3      [ ]         STREAM     CONNECTED     23491  
unix  3      [ ]         STREAM     CONNECTED     23486  
unix  3      [ ]         STREAM     CONNECTED     23485  
unix  3      [ ]         STREAM     CONNECTED     23483  
unix  3      [ ]         STREAM     CONNECTED     23482  
unix  2      [ ]         DGRAM                    23471  
unix  2      [ ]         DGRAM                    23445  
unix  3      [ ]         STREAM     CONNECTED     24125  /tmp/.X11-unix/X0
unix  3      [ ]         STREAM     CONNECTED     23380  
unix  3      [ ]         STREAM     CONNECTED     23226  /var/run/acpid.socket
unix  3      [ ]         STREAM     CONNECTED     23225  
unix  3      [ ]         STREAM     CONNECTED     23224  /var/run/dbus/system_bus_socket
unix  3      [ ]         STREAM     CONNECTED     23223  
unix  3      [ ]         STREAM     CONNECTED     23221  /var/run/dbus/system_bus_socket
unix  3      [ ]         STREAM     CONNECTED     23220  
unix  2      [ ]         DGRAM                    22210  
unix  2      [ ]         DGRAM                    21832  
unix  2      [ ]         DGRAM                    20590  
unix  3      [ ]         STREAM     CONNECTED     20416  /var/run/dbus/system_bus_socket
unix  3      [ ]         STREAM     CONNECTED     20415  
unix  3      [ ]         STREAM     CONNECTED     20418  @/tmp/hald-local/dbus-fYaAyhBsHO
unix  3      [ ]         STREAM     CONNECTED     20414  
unix  3      [ ]         STREAM     CONNECTED     19977  /var/run/acpid.socket
unix  3      [ ]         STREAM     CONNECTED     19976  
unix  3      [ ]         STREAM     CONNECTED     20027  @/tmp/hald-local/dbus-fYaAyhBsHO
unix  3      [ ]         STREAM     CONNECTED     19974  
unix  3      [ ]         STREAM     CONNECTED     13828  
unix  3      [ ]         STREAM     CONNECTED     13827  
unix  2      [ ]         DGRAM                    13820  
oracle@rac1:~> ifconfig -a
-bash: ifconfig: command not found
oracle@rac1:~> ifconfig - a
-bash: ifconfig: command not found
oracle@rac1:~> ifconfig  
-bash: ifconfig: command not found
oracle@rac1:~> ifconfig
-bash: ifconfig: command not found
oracle@rac1:~> ipconfig
-bash: ipconfig: command not found
oracle@rac1:~> ifconfig
-bash: ifconfig: command not found
oracle@rac1:~> exit
logout
rac1:~ # ifconfig -a
eth0      Link encap:Ethernet  HWaddr 68:B5:99:C3:2D:6E  
          inet addr:10.176.31.80  Bcast:10.176.31.95  Mask:255.255.255.224
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:27798893 errors:0 dropped:0 overruns:0 frame:0
          TX packets:528445 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1734080952 (1653.7 Mb)  TX bytes:138484993 (132.0 Mb)
          Interrupt:107

eth1      Link encap:Ethernet  HWaddr 68:B5:99:C3:2D:6D  
          inet addr:10.10.10.12  Bcast:10.10.10.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:37888 errors:0 dropped:0 overruns:0 frame:0
          TX packets:15249 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:21133696 (20.1 Mb)  TX bytes:9209455 (8.7 Mb)
          Interrupt:75

eth2      Link encap:Ethernet  HWaddr 68:B5:99:C3:2D:6C  
          BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)
          Interrupt:234

eth3      Link encap:Ethernet  HWaddr 68:B5:99:C3:2D:6F  
          BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)
          Interrupt:139

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:10206 errors:0 dropped:0 overruns:0 frame:0
          TX packets:10206 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:1650923 (1.5 Mb)  TX bytes:1650923 (1.5 Mb)

rac1:~ # su - oracle
oracle@rac1:~> cat /etc/sysctl.conf
# Disable response to broadcasts.
# You don't want yourself becoming a Smurf amplifier.
net.ipv4.icmp_echo_ignore_broadcasts = 1
# enable route verification on all interfaces
net.ipv4.conf.all.rp_filter = 1
# enable ipV6 forwarding
#net.ipv6.conf.all.forwarding = 1

kernel.shmall = 5242880
kernel.shmmax = 21474836480
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.file-max = 131072
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default =4194304
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 262144

oracle@rac1:~>

Maclean Liu(刘相兵

eth1        10.10.10.13        N        Oracle Cluster Repository                            ==> private network
Estd Interconnect traffic (KB)         1,320.09        => 估算的流量仅 1MB


Avg message sent queue time (ms):  58,720.1  

ges message sent time 非常高






Udp:
    21310 packets received
    654 packets to unknown port received.
    0 packet receive errors
    21360 packets sent

eth1      Link encap:Ethernet  HWaddr 68:B5:99:C3:2D:6D  
          inet addr:10.10.10.12  Bcast:10.10.10.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:37888 errors:0 dropped:0 overruns:0 frame:0
          TX packets:15249 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:21133696 (20.1 Mb)  TX bytes:9209455 (8.7 Mb)
          Interrupt:75


eth1 未发生过 error 或丢包 ，但是 就这里看到的 收发数据仅 20.1mb 和 8.7 mb  怀疑 你这个interface 重启过 ，或者主机重启过

需要osw netstat ping 日志核实

主要引发cluster wait time的语句


Cluster Wait Time (s)        %Ela        %Total        Elapsed Time(s)        CPU Time(s)        Executions         SQL Id        SQL Module        SQL Text
18,089.89        99.94        107.85        18,100.40        10.96        3        24056jq388kyf         JDBC Thin Client        SELECT SUMMARYTASKID, INDICAT...

yobyin

主机的确是重启过，重启后， 开启这个节点的服务还是如文中所示现象。

我的意思是说，重启后从网卡的统计信息上来说没有问题，但是文中所示现象还是存在。

[ 本帖最后由 yobyin 于 2012-6-27 14:13 编辑 ]

Maclean Liu(刘相兵

建议你检查 网络设备硬件 及问题发生阶段的cpu负载

最好能有osw 的日志