Asale

運作原理

一個請求從你的終端機到上游模型再回來,中間經過哪四跳,錢又是怎麼分的。

買入請求從不直接連廠商,它要走四跳。

  1. 你的 CLI 呼叫本機代理

    Asale 用戶端監聽在 127.0.0.1。工具的設定被改寫成指向它。

  2. 代理轉送到閘道

    只替換認證標頭,換成你的 Asale API Key,請求內容原樣不動。

  3. 閘道媒合賣方

    先定價、依預估從餘額凍結一筆,再挑出目前最合適的一條供給。

  4. 賣方用戶端呼叫上游

    賣方自己的訂閱 token 在本機注入,絕不離開那台機器。回應沿原路串流返回。

媒合

候選依四項評分:

權重指標
0.45價格較低
0.25信譽
0.15往返延遲
0.15成功率

賣方還必須有足夠的剩餘額度、不低於 600 的信譽分,以及一個空閒的並行位。

一條供給失敗時

如果第一個賣方在任何位元組抵達你之前出錯,請求會被靜默轉給下一個候選,最多再試兩次。你看到的是一個回應,不是三次嘗試。

一旦內容已經開始輸出就無法重播,這時錯誤會原樣傳回——同時不計費。