最快的大模型尝鲜📡

现阶段面向所有用户免费体验，需要🪜：https://inference.cerebras.ai/ Cerebras平台推出了比groq推理速度还要快的解决方案，通过自研芯片，Llama3.1-70B 以 450 tokens/s 的速度运行 – 比 GPU 快 20 倍，并且每百万个代币 只要60 美分——是超大规模云服务商价格的五分之一