幾個月前,肥叔叔曾遇上港產的Sofi Hong Kong的outage大斷線,在美股時段完全不能交易。
至今嘛,仍然有用,期間也有一次遇過相同的問題,不過比第一次的那個大斷線還好,至少能在短時間內恢復。
那時筆者就心想:還好,主要處理美股長線買賣的是規模遠比Sofi大、在香港也有分部的美國跨國低價證券商──盈透證券(Interactive Brokers/IBKR)。
可是,不幸的事情就發生了。
12月7日,大約香港時間下午七時半,也就是美國市場星期一開市前的交易時段,盈透證券的系統全面停罷。一開始,更沒有正式公佈,甚至在盈透網站上的「Current System Status」(當前系統狀態)也顯示為綠色,所有系統運作正常。
肥叔叔當時應該是麥當勞吧(因為老麥App上用ZA卡買老麥有6%回贈),發現iPhone上連線IB App時連不了,一開始時還以為是香港、亞洲地區的伺服器有問題,或者是電話的網絡連接不佳──因為便宜,選了CP值最高的自由鳥限速4G LTE,所以有時也會懷疑是否連接真的會較差。
直至回到家,連上家裡的1000M光纖和Wifi,在開市時再嘗試,就發現App上出現標注了「Important」的通知,說「有用戶可能未能連接,我們正搶修」之類。同樣地在電腦的Trader Workstation、甚至是IBKR網站的用戶登入頁面都不能正常登入操作,可惜那時沒有特別截圖。
而在他們家的CSC頁面,就已經更新成紅色,但卻很樂觀的寫上「Systems are returning to normal functionality」。
過了不久,發現App上的「Important」通知也好像有人改寫了,是PR部門的朋友上班了吧?寫成好像只是少事一椿,新版本的是…
「Most services are back for most client…」(大部份的用戶大部份的服務已經被恢復…)
哦真的?那Twitter上那幾百個在全球、包括有翻牆出來的內地朋友們一齊開罵不是大部份喔?
「…we are working to resolve any remaining issue.」(我們正在解決其他剩餘的問題)
彭博報導,原來問題是在美東大約早上6:30,也就是香港時間晚上19:30左右出現的。所以就不關肥叔叔用自由鳥事!
在Twitter上盈透證券的官方帳號也後知後覺得地出了幾個偽更新──為甚麼是偽?因為第一個「狀態更新」竟然是在開市前半個鐘才發出,也就是出事後的兩個半鐘頭!Work life balance喔?
第一個是從用Twitter Web App發出的──
「我們遇到技術難題,我們正在努力恢復服務。」
We are experiencing technical difficulties and we are working to restore services.
— Interactive Brokers (@IBKR) December 7, 2020
這個還好,最少如實公佈,粵語謂「遲到好過無到。」
然後嘛,應該是公司內的PR負責人上班了。因為美東早上10:15(香港時間23:15),也是用Twitter Web App發出一條這樣的tweet──
We have experienced a significant failure in multiple segments of a highly resilient data storage system. We have engaged the vendor for analysis and recovery. Many services have already been restored and the remaining services are expected to be available promptly. We apologize.
— Interactive Brokers (@IBKR) December 7, 2020
Google翻譯後少改,不過原文本身也是怪聲怪氣的──
「我們在一組高度彈性的數據存儲系統的多個部分中遇到了重大故障。我們已委託供應商進行分析和恢復。許多服務已被還原,剩餘的服務預計將立即可用。我們致歉。」
「…許多服務已被還原,剩餘的服務預計將立即可用…」就肯定是PR手筆了。因為在下面回覆的幾百個留言都說根本就沒有人用得到!還原個屁?
而且就是大企業那招,「這個我交了給外包vendor搞了啦,搞不得成就罵他咯,錢我就給了!」
而盈透證券的網站上,也出現了紅色反白字的離線公告了。
然後,被罵多?學乖了?還是已經全面交由外部的PR甚至是「公關危機管理公司」去管理這個關公危機?因為第三個tweet是從專業的市場客戶管理平台Sprinklr發出的
We have mostly recovered and are addressing a few residual issues. We recognize the dislocation this has caused to our clients, and express our apologies.
— Interactive Brokers (@IBKR) December 7, 2020
「我們基本上已經恢復,並正在解決一些剩餘的問題。我們認識到這給我們的客戶造成了混亂,並表示歉意。」
也就是和網站、App上的標示一樣風格、統一口徑了。所以就說是由專業(PR)來咯。
「few residual issues」,真是TMD精景,甚麼是「residual issues」?就是「除了讓你們用戶能看到的、用到的、Trade到的所有問題,都修好了」吧?
原來這個晚上不單只有盈透,剛看報導就連開業幾年,但在疫情當下人氣(用戶數)爆升的免費證券交易平台Robinhood也出現斷線事件!不過人家解決了。
哎,好像也真的沒有「百分百可靠」的證券行呢。那,還真的只有認命了。
天下烏鴉一樣黑,世間broker一樣 7️⃣ 矣~。
PS:對了,也知道盈透證券的人不會看一個稀少流量的繁體中文Blog,不過也呼籲下,花錢買回來的那個「Best Online Broker 2020」和「Top Online Broker for Ten Consecutive Year」的那個PR句子,可以的話,請刪掉吧… 看看是否只能保有Online Broker with Best PR Spinner能夠救救今次的公關 + 實際災難了。
【2020年12月8日晚更新】PPS:盈透CEO致用戶公開信解釋──《Announcement Regarding Today’s Partial Outage》(關於今天部分停罷的公告)。
機譯、人編中文版如下:
尊敬的客戶,
由於IBKR系統是基於領先技術供應商提供和服務的複雜“高可用性”數據系統構建而成的,因此您今天遇到的某些服務中斷或服務中斷。該系統經過專門設計,旨在最大程度地降低我們經歷的技術故障的可能性,並且該系統到目前為止運行良好。但是,它今天沒有按預期工作。
我們與供應商合作以發現問題,並在美國市場開放交易之前不久恢復了我們的系統。大多數客戶能夠在中午之前訪問大多數服務,並且在交易日剩下的時間內,我們將其餘服務恢復上線。
任何技術都可能失敗,我們非常重視系統的質量和彈性。我們會將供應商的分析納入我們自己對今天的部分中斷的獨立評估中,以使將來更不可能再次發生該中斷。
盈透證券以其先進的交易平台而自豪,並感謝您對我們的信任。我們致力於確保我們可以為您提供IBKR始終期望的尖端和可靠的經紀服務。
【2020年12月10日更新】 以為CEO出了一篇致客戶的公開信後告一段落?NO NO NO!豈有如此簡單的事?今日筆者再收到IBKR的電郵,說要有重大通知,要俾家長簽名核實已閱兼同意。
哈,原來繼公關部門後,法務部門和外判的法律顧問也夠忙的,在登入IBKR網站後,要簽回條的通告就劈頭第一段就是《Legal Acknowledgement》法務通告,這通告引子段落後的這一段就很有意思了──
Although we believe our failure rate is among the lowest in the industry, any system may fail at one time or another, often by reason of forces beyond human control. IB is not liable for system or network failures, and customers who require the highest level of reliability, agree to maintain secondary trading facilities.
儘管我們認為我們的故障率是業內最低的,但任何系統都可能一次或又一次失敗,這通常是由於無法人為控制的力量所致。 IB對系統或網絡故障不承擔任何責任,要求最高可靠性的客戶同意維持二級交易設施。
機譯成中文大致是這樣吧,不過英文不是超級好的都應該看的懂吧,就是一句──
「系統掛掉?網絡死掉?與俺等無關!」
然後選項就是簽署接受或改日簽署接受。果然是美國企業呢~嘿!