服務器

波尔多VS甘冈:一次Zookeeper 擴展之殤

一、背景

基于公司發展硬性需求,生產VM服務器要統一遷移到ZStack 虛擬化服務器。檢查自己項目使用的服務器,其中zookeeper集群中招,所以需要進行遷移。

二、遷移計劃

為了使遷移不對業務產生影響,所以最好是采用 擴容   ->   縮容   的方式進行。

zk
說明:
1.原生產集群為VM-1,VM-2,VM-3組成一個3節點的ZK集群;
2.對該集群擴容,增加至6節點(新增ZS-1,ZS-2,ZS-3),進行數據同步完成;
3.進行縮容,下掉原先來的三個節點(VM-1,VM-2,VM-3);
4.替換nginx解析地址。
OK! 目標很明確,過程也很清晰,然后開干。

三、步驟 (過程已在測試環境驗證無問題):

  1. 對新增的三臺服務器進行zk環境配置,和老集群配置一樣即可,最好使用同一版本(版主使用的是3.4.6);
  2. 對老節點的zoo.cfg 增加新集群的地址(逐一增加),然后對新增加節點逐一重啟。
zk-2

四、問題

  • ZS-1   啟動成功,zkServer.sh status 報錯,用zkServer.sh status查看,反饋如下異常:
[[email protected] bin]# ./zkServer.sh  status
ZooKeeper JMX enabled by default
Using config: /usr/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
  • 此時查看數據,數據同步正常
ZS-1 數據同步正常,但是無法查看節點的狀態信息;
  • 懷疑是因為老節點沒有重啟的原因;此時去查看原集群節點信息,發現原集群節點狀態異常。經排查定位,原集群的狀態一直處于異常狀態。
  • 初步定位原因可能是原集群的選舉存在異常,導致新節點無法正常納入,繼續排查。
  • 恢復集群初始狀態,如果集群節點的狀態一直沒法正常查看。OK 繼續定位…

五、排查過程

以下方法來自于網絡:

可能有以下幾個原因:

第一、zoo.cfg文件配置:dataLogDir指定的目錄未被創建。

1.zoo.cfg

[[email protected]?conf]

# cat zoo.cfg … dataDir=/app/zookeeperdata/data dataLogDir=/app/zookeeperdata/log … 2.路徑

[[email protected]?conf]

# cd /app/zookeeperdata/

[[email protected]?zookeeperdata]

# ll total 8 drwxr-xr-x 3 root root 4096 Apr 23 19:59 data drwxr-xr-x 3 root root 4096 Aug 29  2015 log

經排查 排除該因素。

第二、myid文件中的整數格式不對,或者與zoo.cfg中的server整數不對應。

[[email protected] data]# cd /app/zookeeperdata/data

[[email protected]?data]

# cat myid  2[[email protected] data]#

定位排查后排除不是該原因。

第三、防火墻未關閉。

使用service iptables stop 關閉防火墻; 使用service iptables status確認; 使用chkconfig iptables off禁用防火墻。

確認防火墻是關閉的。

[[email protected] ~]# service iptables status
iptables: Firewall is not running.
確認防火墻是關閉的

第四、端口被占用。

[[email protected] bin]# netstat -tunlp | grep 2181
tcp        0      0 :::12181                    :::*                        LISTEN      30035/java          
tcp        0      0 :::22181                    :::*                        LISTEN      30307/java 
確認端口沒有被占用

第五、zoo.cfg文件中主機名出錯。

經測試環境測試,主機名正確,多域名解析也正常,不存在此問題

第六、hosts文件中,本機的主機名有兩個對應,只需保留主機名和ip地址的映射。

經測試環境測試,主機名正確,多域名解析也正常,不存在此問題 排除。

第七、zkServer.sh里的nc命令有問題。

 可能是機器上沒有安裝nc命令,還有種說法是在zkServer.sh里找到這句:
 STAT=`echo stat | nc localhost $(grep clientPort “$ZOOCFG” | sed -e ‘s/.*=//’) 2> /dev/null| grep Mode`
 在nc與localhost之間加上 -q 1 (是數字1而不是字母l)
 
 zookeeper版本是3.4.6,zkServer.sh里根本沒有這一句(獲取狀態的語句沒有用nc命令)
 # -q is necessary on some versions of linux where nc returns too quickly, and no stat result is output
    clientPortAddress=`grep "^[[:space:]]*clientPortAddress[^[:alpha:]]" "$ZOOCFG" | sed -e 's/.*=//'`
    if ! [ $clientPortAddress ]
    then
        clientPortAddress="localhost"
    fi
    clientPort=`grep "^[[:space:]]*clientPort[^[:alpha:]]" "$ZOOCFG" | sed -e 's/.*=//'`
    STAT=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
             -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \
             $clientPortAddress $clientPort srvr 2> /dev/null    \
          | grep Mode`
    if [ "x$STAT" = "x" ]
    then
        echo "Error contacting service. It is probably not running."
        exit 1
    else
        echo $STAT
        exit 0
    fi
    ;;

六、以下是自己排查的方式:

目前現象老集群數據同步正常,也能進行leader選舉(從日志獲?。?,但是無法查看節點狀態,同異常信息;進行集群擴容,數據不能同步。

解決方法:

1、嘗試進行foreground 模式啟動,選擇一臺非主節點進行重啟,可以前臺查看啟動日志。

zkserver.sh start-foreground
節點啟動正常,無異常輸出。

2、查看shell腳本:分析zkServer.sh。

  • “Error contacting service. It is probably not running.” 這塊日志出現以下腳本中。
STAT=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
             -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \
             $clientPortAddress $clientPort srvr 2> /dev/null    \
          | grep Mode`
    if [ "x$STAT" = "x" ]
    then
        echo "Error contacting service. It is probably not running."
        exit 1
    else
        echo $STAT
        exit 0
    fi
    ;;
  • 截取其中一部分腳本內容:我們可以初步定為應該是   $STAT   獲取存在異常 如果STAT變量為空,則會顯示Error contacting service. It is probably not running.: OK,那就分析下這個 $STAT 到底是什么鬼?
 if [ “x$STAT” = “x” ]
then
echo “Error contacting service. It is probably not running.”
exit 1
else
echo $STAT
exit 0
fi

3、嘗試用shell的debug模式 看下執行過程:

  • 截取片段執行日志如下 :果然STAT變量確實為空,導致輸出Error contacting service. It is probably not running.并且退出。
++ grep '^[[:space:]]*clientPort[^[:alpha:]]' /app/zookeeper-3.4.6/bin/../conf/zoo.cfg
+ clientPort=5181
++ grep Mode
++ /opt/jdk1.8.0_131/bin/java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp '/app/zookeeper-3.4.6/bin/../build/classes:/app/zookeeper-3.4.6/bin/../build/lib/*.jar:/app/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/app/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/app/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/app/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/app/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/app/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/app/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/app/zookeeper-3.4.6/bin/../conf:.:/opt/jdk1.8.0_131/lib/dt.jar:/opt/jdk1.8.0_131/lib/tools.jar' org.apache.zookeeper.client.FourLetterWordMain localhost 5181 srvr
+ STAT=
+ ‘[‘ x = x ‘]’
+ echo ‘Error contacting service. It is probably not running.’
Error contacting service. It is probably not running.
+ exit 1

4、修改shell腳本:分析zkServer.sh 在腳本總增加輸出STAT 內容,這次我們不進行過濾。

STAT1=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
             -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \
             $clientPortAddress $clientPort srvr 2> test.log \ `
echo "$STAT1"
  • 最好的方式是copy一個新腳本,以免污染原本的腳本。我是這么做的;然后運行該腳本。
[[email protected] bin]# ./zkServer.sh  status
ZooKeeper JMX enabled by default
Using config: /usr/zookeeper/zookeeper-3.4.10/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
  • 然后查看生成的test.log 文件:果然存在異常內容。
in thread “main” java.lang.NumberFormatException: For input string: “2181
at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
at java.lang.Integer.parseInt(Integer.java:492)
at java.lang.Integer.parseInt(Integer.java:527)
at org.apache.zookeeper.client.FourLetterWordMain.main(FourLetterWordMain.java:76)
  • 從日志信息來看,提示說2181這個端口號造成的。 不是一個合法的數字。

zkServer.sh里有這么一句:

clientPort=`grep “^[[:space:]]*clientPort[^[:alpha:]]” “$ZOOCFG” | sed -e ‘s/.*=//’`
grep “^[[:space:]]*clientPort[^[:alpha:]]” “$ZOOCFG” | sed -e ‘s/.*=//’在執行過程中,實際命令如下:
grep ‘^[[:space:]]*clientPort[^[:alpha:]]’ /app/zookeeper-3.4.6/bin/../conf/zoo.cfg | sed -e ‘s/.*=//’
  • 最終可以基本確認配置文件存在問題。
  • 替換配置文件:重啟 問題解決。
  • 存在原因可能是編輯zoo.cfg 編碼格式等等引起文件內容解析異常。

作者: 毛正衛

拓展閱讀: 【宜信技術沙龍01期】AI中臺:一種敏捷的智能業務支持方案|分享實錄

【宜信技術沙龍02期】宜信敏捷數據中臺建設實踐|分享實錄

宜信技術學院是宜信旗下的金融科技能力展示與輸出平臺。通過分享在金融科技領域的開源成果、研發實踐促進金融科技生態圈企業創新升級。

黑客鎖定市政系統勒索比特幣,政府拒付贖金!全美最危險城市陷入癱瘓的第三周……

上一篇

IEEE官方禁止華為參與期刊審稿,當全球最大技術學術機構向政治彎腰

下一篇

你也可能喜歡

一次Zookeeper 擴展之殤

長按儲存圖像,分享給朋友

ITPUB 每周精要將以郵件的形式發放至您的郵箱


微信掃一掃

微信掃一掃