裸金屬 GPU 集群
獨享加速節點，搭配高帶寬、低延遲網絡，無虛擬化損耗。
ClusterHKG-01 · Training
Healthy
GPU utilisation87.4%
Active jobs246 queued
Hall power1.82 MWPUE 1.24
Throughput · tokens / s2.41M
Fleet map · 256 GPUs
llm-pretrain-70bRunning512 GPU
vision-ft-a12Running64 GPU
inference-api-prodServing32 GPU
rag-embed-batchQueued16 GPU
界面僅作示意。
(01)平台能力
從 GPU 到您的模型
之間的一切
以同一個控制平面完成訓練、微調與部署——運行在我們自行設計和運營的基礎設施之上。
託管 Kubernetes 與 Slurm
自帶容器或批量任務，編排、調度與健康檢查由我們負責。
推理服務端點
以自動擴縮容、低延遲的 API 部署模型，按用量計費。
高性能儲存
並行文件與對象儲存緊鄰 GPU 部署，數據讀取不再拖慢訓練。
可觀測性與計量
實時遙測、按任務歸集成本，賬單清晰透明。
企業級隔離
私有租戶、專屬網絡，並提供數據駐留香港的選項。
GridPort · 算力分發平台
要的是 Token，
而不是 GPU？
GridPort 以開放模型推理的形式交付算力：一個兼容 OpenAI 的 API，按 Token 計費，路由、計量與容錯由平台處理。
(02)開發者體驗
從登入到首個任務，
只需數分鐘
按您團隊習慣的方式工作。可在控制台開通集群，以命令行編寫腳本，或透過 API 驅動一切。
控制台、CLI 與 API
凡能點擊完成的操作，皆可自動化。
沿用您的技術棧
您的容器、框架與調度器無需改動即可運行。
成本可追溯
利用率、吞吐量與開支，按任務逐一拆分。
# Reserve a 512-GPU training cluster in Hong Kong
$ hkc cluster create train-01 \
--region ap-hongkong-1 \
--nodes 64 --gpus-per-node 8 \
--fabric infiniband --scheduler slurm
✓ train-01 ready · 512 GPUs · 4m 12s
$ hkc job submit --cluster train-01 \
--image registry/llm-pretrain:latest \
--gpus 512 -- python train.py --config 70b.yaml
✓ llm-pretrain-70b running
$ hkc job logs llm-pretrain-70b --follow
step 1200 · loss 2.184 · 2.41M tok/s# Serve a model behind an autoscaling endpoint
from hkcompute import Client
hkc = Client()
endpoint = hkc.endpoints.create(
name="inference-api-prod",
model="registry/my-model:v3",
region="ap-hongkong-1",
gpus=4,
autoscale=(2, 32),
)
print(endpoint.url)
# https://inference-api-prod.ap-hongkong-1.…# Your existing manifests run unchanged
apiVersion: batch/v1
kind: Job
metadata:
name: vision-ft-a12
spec:
template:
spec:
containers:
- name: trainer
image: registry/vision-ft:latest
resources:
limits:
gpu: 8
restartPolicy: Never命令及 SDK 僅作示意。
(03)安全與租戶隔離
隔離，
源於設計
為視模型與數據為最寶貴資產的團隊而建，亦顧及監管機構的要求。
私有租戶
單租戶集群，不共享計算、儲存或管理平面。
專屬網絡
私有連接與隔離的網絡架構，並可直連您自己的站點與雲環境。
數據駐留
可選擇在每個環節將數據、模型與日誌留在香港。
存取控制與審計
基於角色的存取控制、單一登入，以及每項操作的審計記錄。