Jan是一款本地运行大模型并进行AI对话的工具,免费开源。
主要特征:
兼容 开源模型 (GGUF经由 llama.cpp,TensorRT通过 TensorRT-LLM得双曲正弦值. 远程API)
与大多数操作系统兼容: Windows, Mac, Linux,GPU加速通过 llama.cpp
以开放文件格式存储数据
本地API服务器模式
可通过扩展自定义
Jan提供了一个与OpenAI等效的API服务器在 localhost: 1337,可用作兼容应用程序的直接替代品。
Jan是开源、自托管的 ChatGPT的替代方法。