今天(8月18日,實驗第6個交易日)阿富還是沒有下任何一張單,這是連續第二天零成交。但比「沒交易」更值得寫的,是他今天早上結算信念之後,系統回傳的那份校準報告:累計7筆已計分的方向預測,只猜對1筆,命中率14.3%,官方標籤寫著「INDISTINGUISHABLE_FROM_LUCK」——跟運氣分不出來。
先說今天早上他實際下的兩個預測。盤前他對兩件事各下了一個可被秒殺驗證的判斷:00919收盤打平,信心0.40,參考價30.34;加權指數(TAIEX)上漲,信心0.39,參考值45,857.27。理由寫得很清楚:美股8月17日道瓊、標普、那斯達克三大指數同步下跌,市場氣氛轉向謹慎,大家都在等接下來的Jackson Hole央行年會講話,但台指期夜盤只小漲0.12%,訊號極弱,他判斷這個弱訊號不足以推翻續抱的邏輯,所以00919判平盤,TAIEX賭一個微幅偏多。
決策端他沒有任何動作。手上唯一的部位是00919,36股,成本均價30.17,依照上週覆盤定下的W34規則,個股短線方向單已經證明沒有優勢(2317那批預測6中0),核心策略改成單純續抱低beta高息ETF,沒有新的差異化證據就不加碼、不換倉。停損線設在昨收30.34的負2%,也就是29.73,當日最大虧損上限訂在60元。整套邏輯就是不主動找機會,只巡檢會不會跌破線。
結果一半對一半錯。00919今天收盤30.34,跟昨天一模一樣,打平的判斷猜中了,未實現損益還是加4元(+0.37%)。TAIEX重挫548點收45,309,跌1.2%,他判斷錯了方向,這不是誤差範圍內的小失手,是真的看反了。
覆盤的時候他講得很直白:問題不是模型算錯,是他把一個0.12%的期貨夜盤微幅訊號,當成足夠的依據去對抗美股全面下跌、央行年會前市場轉守的背景雜訊。他寫的教訓是,以後遇到大盤方向判斷,沒有夠強的訊號(期貨落差超過0.5%或有明確的總經事件觸發)就該老實填flat,尤其是像央行年會這種重大事件前夕,信心該往下修,不是硬湊一個方向出來顯得自己有想法。
但今天真正的重頭戲是那份累積的校準報告。masterlink內建的calibration_report把之前已經到期、可以計分的7筆預測全部拿出來對答案:方向命中率1/7,只有14.3%,用Wilson信賴區間去看是0.026到0.513,樣本小到區間很寬,但中心值就是差。RPSS是負0.357,代表比什麼都不做、均分猜跌平漲三種結果的笨方法還糟。Murphy分解顯示reliability只有0.20、resolution只有0.03,翻譯成白話,就是他給的信心跟實際命中率對不太起來,而且這批預測幾乎沒有分辨力,猜中猜不中看起來跟信心值本身沒什麼關係。系統給的誠實標籤是INDISTINGUISHABLE_FROM_LUCK,意思是目前沒有統計證據能證明這是有技巧的判斷,也沒有證據證明是反向指標,就是看不出來跟丟硬幣有什麼差別。
這7筆全部是8月12日跟8月14日對2317(鴻海)下的個股短線方向單,跟上週覆盤「個股短線判斷無優勢」的結論完全吃在一起,沒有新的反例出現。另外還有5筆更早的預測(0050、00919,8月11到12日建立)已經過了該計分的時間點好多天,系統卻一直顯示pending,懷疑是委託沒真的成交或計分邏輯沒被觸發,阿富把這個列成待觀察項,沒有硬套一個答案交差,也沒有辦法在今天的職責範圍內修掉。
站在旁觀者的角度,這篇日誌最有意思的地方不是又賠了或又賺了多少,今天帳上只是加4元的小波動,金額小到不太重要。有意思的是,一個LLM在試著逼近真實市場的過程裡,願意讓一套不留情面的計分工具,把自己過去的判斷全部拿出來對帳,然後承認目前看起來自己的方向感跟運氣差不多。這比悄悄把猜錯的預測藏起來、只講猜對的那幾次,誠實太多。1/7的命中率老實說比丟硬幣還差,「跟運氣分不出來」這個標籤某種意義上已經算是給足面子了。剩下24個交易日,如果這個數字沒有明顯往上修正,那阿富該學到的東西不是換一個更聰明的判斷方法,而是承認自己在方向預測上沒有優勢,乾脆就別賭方向。
本系列文章
- 我讓一個 AI 拿 2000 塊台幣去股市,目標 30 天翻倍,這是第 0 天
- 怎麼用一套開源系統,把 LLM 逼近世界模型(實驗技術篇)
- 想自己跟著養一隻會操盤的 AI?從安裝 DuDuClaw 桌面版開始
- D1:真金白銀第一天,唯一一筆單被退回來
- D1 番外:一筆下錯的單,被 AI 說成「只是測試」
- 把 AI 操盤手搬下 Windows:換一套能跨平台的券商 API
- D2:錢第一次真的進了市場,阿富卻兩次認不出自己下的單
- D3:一天之內,三條停損線
- D4:線畫在 262,它真的砍了:阿富第一次停損出場
- D5:沒下單的一天,帳本卻出了兩次包
- D6:連續兩天零下單,但校準報告說他的方向判斷跟丟硬幣沒兩樣(本篇)
這個實驗跑在開源 AI agent 平台 DuDuClaw 上,操盤、下單、盯盤、每日觀察都由平台上的 agent 自主執行。
原始碼:https://github.com/zhixuli0406/DuDuClaw
Top comments (0)