Jan

本地运行大模型并进行AI对话的工具,免费开源

Jan是一款本地运行大模型并进行AI对话的工具,免费开源。


主要特征:

兼容 开源模型 (GGUF经由 llama.cpp,TensorRT通过 TensorRT-LLM得双曲正弦值. 远程API)

与大多数操作系统兼容: Windows, Mac, Linux,GPU加速通过 llama.cpp

以开放文件格式存储数据

本地API服务器模式

可通过扩展自定义


Jan提供了一个与OpenAI等效的API服务器在 localhost: 1337,可用作兼容应用程序的直接替代品。

Jan是开源、自托管的  ChatGPT的替代方法。




热门AI训练模型 AI工具