[提问]关于exadata的写入操作

蓝白无常

请教一个关于exadata的问题：
对于每次的写入操作，exadata是如何完成的？
是  （1） 将数据库服务器写入的数据先缓存在storage cell的缓存上，然后再批量地刷到磁盘中？
还是 （2） 不经过storage cell的缓存，每次写入操作都直接写入到storage cell的磁盘上？


谢谢

Maclean Liu(刘相兵

Write performance can be impacted if the drives have been set back to writethrough mode from the default of writeback. This can occur if there is a problem with the controller battery or if
checked with the command, MegaCli64 -LDInfo -Lall -aALL | grep 'Current Cache Policy' . To determine if a learn cycle is active, use the following command: /opt/MegaRAID/MegaCli/MegaC
manual learn, use the following command: /opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -BbuLearn -a0


==> cell controller 默认为 writeback ， 当cell battery BBU存在问题时可能转为write through

Maclean Liu(刘相兵

Verify database server disk controllers use writeback cache

Priority	Added	Machine Type	OS Type	Exadata Version	Oracle Version
Critical	N/A	X2-2(4170), X2-2, X2-8	Linux	11.2.x +	11.2.x +

Benefit / Impact:

Database servers use an internal RAID controller with a battery-backed cache to host local filesystems. For maximum performance when writing I/O to local disks, the battery-backed cache should be in "WriteBack" mode.

The impact of configuring the battery-backed cache in "WriteBack" mode is minimal.

Risk:

Not configuring the battery-backed cache in "WriteBack" mode will result in degraded performance when writing I/O to the local database server disks {AB: and there is a risk of data corruption if the node panics].

Action / Repair:

To verify that the disk controller battery-backed cache is in "WriteBack" mode, run the following command on all database servers:

/opt/MegaRAID/MegaCli/MegaCli64 -CfgDsply -a0 | grep -i writethrough

There should be no output returned.

If the battery-backed cache is not in "WriteBack" mode, run these commands on the effected server to place the battery-backed cache into "WriteBack" mode:

/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp WB -Lall -a0 /opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp NoCachedBadBBU -Lall -a0 /opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp NORA -Lall -a0 /opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp Direct -Lall -a0

NOTE: No settings should be modified on Exadata storage cells. The mode described above applies only to database servers in an Exadata database machine.

Maclean Liu(刘相兵

之前的XD flashcache 总是Write through直接写模式， 目前的XD smart flashcache支持存放Redo logfile ==>  smart flash logging和write-back模式

蓝白无常

Maclean Liu(刘相兵 发表于 2013-1-27 15:38
Verify database server disk controllers use writeback cacheBenefit / Impact:Database servers use an  ...

“Database servers use an internal RAID controller with a battery-backed cache to host local filesystems. For maximum performance when writing I/O to local disks, the battery-backed cache should be in "WriteBack" mode.”
从这句话看，这个controller cache只对构建于数据库服务器（是database server，而不是storage server）本地磁盘（local disk）之上的本地文件系统（host local filesystems），那么对于ASM管理的storage cell中的磁盘呢？

Maclean Liu(刘相兵

蓝白无常 发表于 2013-1-27 16:07
“Database servers use an internal RAID controller with a battery-backed cache to host local files ...

见2楼

Maclean Liu(刘相兵

CellCLI> list lun detail


CellCLI> list lun detail
         name:                   0_0
         cellDisk:               CD_00_dm01cel01
         deviceName:             /dev/sda
         diskType:               HardDisk
         id:                     0_0
         isSystemLun:            TRUE
         lunAutoCreate:          FALSE
         lunSize:                557.861328125G
         lunUID:                 0_0
         physicalDrives:         28:0
         raidLevel:              0
         lunWriteCacheMode:      "WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU"
         status:                 normal

         name:                   0_1
         cellDisk:               CD_01_dm01cel01
         deviceName:             /dev/sdb
         diskType:               HardDisk
         id:                     0_1
         isSystemLun:            TRUE
         lunAutoCreate:          FALSE
         lunSize:                557.861328125G
         lunUID:                 0_1
         physicalDrives:         28:1
         raidLevel:              0
         lunWriteCacheMode:      "WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU"
         status:                 normal

         name:                   0_2
         cellDisk:               CD_02_dm01cel01
         deviceName:             /dev/sdc
         diskType:               HardDisk
         id:                     0_2
         isSystemLun:            FALSE
         lunAutoCreate:          FALSE
         lunSize:                557.861328125G
         lunUID:                 0_2
         physicalDrives:         28:2
         raidLevel:              0
         lunWriteCacheMode:      "WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU"
         status:                 normal

         name:                   0_3
         cellDisk:               CD_03_dm01cel01
         deviceName:             /dev/sdd
         diskType:               HardDisk
         id:                     0_3
         isSystemLun:            FALSE
         lunAutoCreate:          FALSE
         lunSize:                557.861328125G
         lunUID:                 0_3
         physicalDrives:         28:3
         raidLevel:              0
         lunWriteCacheMode:      "WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU"
         status:                 normal

         name:                   0_4
         cellDisk:               CD_04_dm01cel01
         deviceName:             /dev/sde
         diskType:               HardDisk
         id:                     0_4
         isSystemLun:            FALSE
         lunAutoCreate:          FALSE
         lunSize:                557.861328125G
         lunUID:                 0_4
         physicalDrives:         28:4
         raidLevel:              0
         lunWriteCacheMode:      "WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU"
         status:                 normal



cell lun 默认  lunWriteCacheMode:      "WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU"

蓝白无常

Maclean Liu(刘相兵 发表于 2013-2-7 11:10
CellCLI> list lun detail

这里打印输出的write back cache，应该指的是Storage server上的Disk Controller上的HBA的512M的 write cache（带有BBU），而不是我原先理解的Storage server上的那24G的内存。该24G的的内存并没有BBU保护的，该内存是用于存储metadata，storage index以及解压HCC数据，而不是用于缓存写。也许正是因为用于缓存写的cache太小（512M）对写性能的提升不大，所以Oracle才在x3里面添加flash cache的write back模式，从而提升总体的写性能。
谢谢你的指点 : )