Category: Network

今天因為某組Web機器當機實在當太嚴重了，因為我們發現問題是出在NFS，所以我們把 KDB 跟 DDB 編進去準備來找問題。

當發生問題的時候，由於機器不會當死，所以可以在Console按Ctrl-Alt-ESC進DDB。進了DDB以後，可以用textdump(4)來紀錄所下的指令以及其output。紀錄的資料會dump在dump device（通常是swap），等下次開機的時候會存到/var/crash裡面。

大概的作法是這樣：

1. 先Ctrl-Alt-ESC進DDB
2. textdump set # 開始 textdump
3. capture on # 下面的指令都要記錄下來
4. show allpcpu; bt; ps; alltrace; show alllock # 要紀錄的資訊
5. call doadump # dump到dump device
6. reset # 重開機

如果發現出來的結果會被截掉的話，要把textdump的capture buffer加大：

sysctl debug.ddb.capture.bufsize=196608

源於 OpenBSD，port 到 FreeBSD 的 pf 本身就可以作 load balancer，但是不能作 healthy check。要作 healthy check 的話，必須加上 relayd。另外用 CARP(4) 與 PFSYNC(4) 可以做到 Active-Standby 的 Redundancy HA，也就是當一台 SLB (Server Load Balancer) 死掉的時候，另一台會自動起來提供服務。詳細的作法在參考資料有，因此這裡不贅述。基本的想法為：

1. 用 pf 設定防火牆與 NAT，把 incoming port 80 的 destination 換成 server pool 內的任一台。
2. 用 carp 來保證 HA。
3. 用 pfsync 來 sync 兩台 SLB 之間的 pf firewall state。
4. 用 relayd 來檢查 server 的狀態，如果不能連線的時候，把 server 從 pool 內拿掉。

這樣就可以達到 Layer 4 Switch 的功能，在 relayd 裡面稱為 REDIRECT 模式，缺點是 pool 內所有的 server 都必須把 default gateway 設為 SLB。
另外 relayd 也可以採用類似 haproxy 的方式，由 relayd 跟 client 與 server 各建立一個連線，作 Layer 7 的 forwarding。這在 relayd 裡面稱為 RELAY 模式。
設定 relay 模式的時候，可以對 HTTP Header 作修改，例如加上 X-Forwarded-For Header，或是根據 Host Header 或者 URI 來決定要分配到的 Pool。另外 healthy check 也可以由管理者自行撰寫 script，因此可以作比較複雜的檢查。設定方式可以參考 RELAYD.CONF(5)。

比起 haproxy 來說，relayd 可以輕易的達到 Full Transparent Proxy （後端的 Server 看到的 source ip 是真正的 ip）的功能而不需要 patch kernel，而且也可以作 graceful restart（ haproxy 在 restart 的時候服務會中斷）；不過 haproxy 有許多的實例已經驗證過它的效能，可以吃滿 10Gbps 網路，但 relayd 在 RELAY 模式的 效能還是未知數。另外，由於 relayd 與 pf 綁的很緊，因此目前只有 OpenBSD 與 FreeBSD 版，不能在 Linux 上執行。

參考資料：

• 7.0下通过CARP+PF+relayd+PFSYNC实现健康检查等功能群集
• RELAYCTL(8)