Jan AI：OpenAI平台的开源平替（附使用步骤）

今天给大家分享的是一款OpenAI的开源平替工具：Jan AI

这个工具跟我们之前介绍过的Ollama有点类似，都可以在本地运行大模型，但它们有两个明显不同：

Jan AI 除了支持开源模型，同时也支持OpenAI和Google在线模型

Jan AI 界面非常好看，操作也方便，代码大部分是用Typescript编写的

Jan AI 由三部分组成，第一是桌面客户端；第二是 Nitro Server，这是一个封装了 llama.cpp 的推理服务，当你使用本地大模型的使用会用到；第三就是 API Server，API Server相当于在本地再启动一个服务，通过这个服务可以像调用OpenAI接口一样访问大模型。

废话不多说，接下来进入实战环节！

一、安装

Jan 跟 Ollama 一样是跨平台的，也支持多种硬件设备，如：

Nvidia GPUs (fast)

Apple M-series (fast)

Apple Intel

Linux Debian

Windows x64

下载链接的话在其官方页面有明确说明：

地址：https://github.com/janhq/jan

我这里以 Mac 和 Linux 为例进行一个补充：

Apple Intel：Mac的下载比较简单，只需下载一个 dmg 的安装包，然后一路下载即可

Ubuntu 20.04：Ubuntu的安装需要注意一下，gcc和g++的版本需要11以上，不然本地模型会起不来

命令行终端会提示：由于缺少libstdc++.so.6的特定版本GLIBCXX_3.4.29而导致的报错 （类似的错误）

如果遇到这类问题，需要升级 gcc 版本到11及以上

sudo add-apt-repository -y ppa:ubuntu-toolchain-r/test

sudo apt install gcc-11 g++-11

# 如果偷懒的话，就直接用软链，不想偷懒可以用 update-alternatives 工具

sudo ln -sf /usr/bin/gcc-11 /usr/bin/gcc

sudo ln -sf /usr/bin/g++-11 /usr/bin/g++

安装注意事项：

虽然Jan支持多种设备，但是对设备的系统也有一定要求，这里再强调下：

二、模型下载

前面说过，Jan 支持本地模型和远程模型两种方式，如果你有OpenAI或者Groq的API Key，就可以不用下载模型直接使用了。

如果没有OpenAI的API Key，可以通过下载开源模型的方式解决，点击这里就能跳到模型仓库，不过你大概率会遇到网络魔法问题。

如果你有HTTPS的代理，则可以使用其进行代理，如果没有的话，可以浏览器下载模型后再导入，以 TheBloke/Llama-2-7B-Chat-GGUF[1] 模型为例，有两种导入模式，一种就是维持模型的位置不变，然后Jan用软链；另一种就是将模型移动到Jan的数据目录，这个看个人喜好。

导入之后，需要激活我们的模型，启动模型其实就是启动一个 nitro ，这是Jan 依据 llama.cpp 封装的一个服务，端口号是：3928，如果启动模型失败，可以检查下这个端口是否被占用。

以上就是Jan的一个简单介绍，从使用体验上看，Jan的还是优于Ollama的，毕竟多了一个桌面客户端。