月之暗面 Kimi 开放平台将启动 Context Caching 内测

新知榜官方账号

2024-06-20 10:46:51

月之暗面官宣 Kimi 开放平台 Context Caching 功能将启动内测,届时将支持长文本大模型,可实现上下文缓存功能。官方表示,Context Caching 可提升 API 的接口响应速度(或首字返回速度)。在规模化、重复度高的 prompt 场景,Context Caching 功能带来的收益越大。Context Caching 适合于用频繁请求,重复引用大量初始上下文的情况,通过重用已缓存的内容,可提高效率降低费用。

本页网址:https://www.xinzhibang.net/article_detail-22614.html

寻求报道,请 点击这里 微信扫码咨询

相关文章