feat(eltex): glm-5.3 via the proxy's raw /anthropic path
Claude Code now talks to the raw /anthropic path of the Eltex proxy, which forwards requests byte-for-byte to the Z.ai Anthropic endpoint, the same one ai-glm uses directly: - images work through Z.ai's server-side analyze_image (Read png -> server_tool_use analyze_image -> correct answer, same as ai-glm); the regular /v1/messages route converts to the OpenAI endpoint, where Z.ai rejects images with 400; - effort reaches Z.ai: low has no thinking, then medium < high < max; - prompt cache: ~99% of input is a cache read from the second turn, same as ai-glm. The key check and model pick still use the proxy root /v1/models. The model is glm-5.3 in every picker slot with [1m] for the 1M window; the anth-glm-5.3 / zai-glm-5.3 / flash names are gone. Effort stays max by default via CLI --effort. Checked on 20.10 on llm-t2.eltex.loc:4000; admins are moving that config to llm.eltex.loc:4000, which stays the default URL. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
Виталий Никитенко
@@ -1731,13 +1731,11 @@ _eltex_check_key() {
|
||||
_handle_openai_api_response "Eltex LLM" "$_CLAUDE_TEST_CODE" "$_CLAUDE_TEST_BODY" "Лимит team-подписки исчерпан - обратись к админам"
|
||||
}
|
||||
|
||||
# _eltex_pick_models: три модели ключа из _CLAUDE_TEST_BODY (последний ответ /v1/models)
|
||||
# для слотов пикера: model - anth-glm-5.3 (по умолчанию), model_zai - glm-5.3 через
|
||||
# OpenAI-эндпоинт, model_flash - zai-glm-5.3-flash. У части ключей имена с суффиксом
|
||||
# (zai-glm-5.3-2-2), поэтому точное имя, иначе первое с тем же префиксом; имена групп
|
||||
# доступа (ZAI-Test-Group) так не попадут. Список не распарсился (429/сетевая ошибка/5xx) -
|
||||
# стандартные имена наугад. Распарсился, но anth-glm-5.3 нет - ошибка в stderr, model
|
||||
# пустой, возврат 1: дефолтный запуск невозможен. Нет zai/flash - слот получит model.
|
||||
# _eltex_pick_models: модель glm-5.3 из _CLAUDE_TEST_BODY (последний ответ /v1/models).
|
||||
# Если имя с суффиксом (glm-5.3-2), берём точное имя, иначе первое с тем же префиксом, кроме
|
||||
# flash; имена групп доступа (ZAI-Test-Group) так не попадут. Список не распарсился
|
||||
# (429/сетевая ошибка/5xx) - стандартное имя наугад. Распарсился, но glm-5.3 нет - ошибка
|
||||
# в stderr, model пустой, возврат 1: дефолтный запуск невозможен.
|
||||
_eltex_pick_models() {
|
||||
local picked avail
|
||||
if ! picked=$(echo "$_CLAUDE_TEST_BODY" | python3 -c '
|
||||
@@ -1747,16 +1745,15 @@ def pick(exact, prefix, skip=None):
|
||||
if exact in ids:
|
||||
return exact
|
||||
return next((i for i in ids if i.startswith(prefix) and not (skip and skip in i)), "-")
|
||||
print(pick("anth-glm-5.3", "anth-glm-5.3-"), pick("zai-glm-5.3", "zai-glm-5.3-", "flash"),
|
||||
pick("zai-glm-5.3-flash", "zai-glm-5.3-flash"), " ".join(ids) or "(пусто)")' 2>/dev/null); then
|
||||
model="anth-glm-5.3"; model_zai="zai-glm-5.3"; model_flash="zai-glm-5.3-flash"
|
||||
print(pick("glm-5.3", "glm-5.3-", "flash"), " ".join(ids) or "(пусто)")' 2>/dev/null); then
|
||||
model="glm-5.3"
|
||||
return 0
|
||||
fi
|
||||
read -r model model_zai model_flash avail <<< "$picked"
|
||||
read -r model avail <<< "$picked"
|
||||
if [ "$model" = "-" ]; then
|
||||
model=""
|
||||
echo -e "\033[0;31m[МОДЕЛЬ]\033[0m Ключу недоступна модель anth-glm-5.3. Прокси отдаёт: $avail" >&2
|
||||
echo " Напиши админам про доступ к anth-glm-5.3 или задай модель явно: ELTEX_MODEL=<имя> ai-eltex" >&2
|
||||
echo -e "\033[0;31m[МОДЕЛЬ]\033[0m Ключу недоступна модель glm-5.3. Прокси отдаёт: $avail" >&2
|
||||
echo " Напиши админам про доступ к glm-5.3 или задай модель явно: ELTEX_MODEL=<имя> ai-eltex" >&2
|
||||
return 1
|
||||
fi
|
||||
return 0
|
||||
@@ -1776,7 +1773,7 @@ if [ -n "$api_key" ]; then
|
||||
elif [ $ret -ne 0 ]; then
|
||||
exit 1
|
||||
elif [ -z "${ELTEX_MODEL:-}" ] && ! _eltex_pick_models; then
|
||||
# Ключ валиден, но anth-glm-5.3 недоступна (не та группа доступа) - авто-логаут,
|
||||
# Ключ валиден, но glm-5.3 недоступна (не та группа доступа) - авто-логаут,
|
||||
# как при 401: такой ключ не годится для дефолтного запуска, сразу просим новый.
|
||||
echo " Сохранённый ключ удалён (авто-логаут)."
|
||||
rm -f "$key_file"
|
||||
@@ -1817,40 +1814,36 @@ if [ -z "$api_key" ]; then
|
||||
fi
|
||||
fi
|
||||
|
||||
# Модель по умолчанию: ELTEX_MODEL, иначе anth-glm-5.3 - деплойменты на Anthropic-эндпоинте
|
||||
# Z.ai: настоящая glm-5.3, картинки через серверный analyze_image, effort работает.
|
||||
# Первую модель из /v1/models НЕ берём: там бывают не те модели и имена групп доступа
|
||||
# (ZAI-Test-Group), которые не запустить. Если у ключа нет anth-glm-5.3 - авто-логаут выше
|
||||
# (свежевведённый такой ключ не сохраняется), вместо 400/403 внутри Claude Code.
|
||||
# Модели не выбирались (429/сетевая ошибка или задан ELTEX_MODEL) - выбираем здесь.
|
||||
# Модель: ELTEX_MODEL, иначе glm-5.3. Claude Code ходит в сырой путь прокси /anthropic: он
|
||||
# байт-в-байт пересылает запрос на Anthropic-эндпоинт Z.ai (api.z.ai/api/anthropic), как у
|
||||
# ai-glm, поэтому картинки работают через серверный analyze_image (20.10: Read png ->
|
||||
# server_tool_use analyze_image -> верный ответ, так же, как напрямую). Обычный /v1/messages
|
||||
# прокси для этого не годится: LiteLLM в нём режет картинки. Первую модель из
|
||||
# /v1/models НЕ берём: там бывают не те модели и имена групп доступа (ZAI-Test-Group),
|
||||
# которые не запустить. Если у ключа нет glm-5.3 - авто-логаут выше (свежевведённый такой
|
||||
# ключ не сохраняется), вместо 400/403 внутри Claude Code. Модель не выбиралась
|
||||
# (429/сетевая ошибка или задан ELTEX_MODEL) - выбираем здесь.
|
||||
[ -n "${model:-}" ] || _eltex_pick_models 2>/dev/null || true
|
||||
model="${ELTEX_MODEL:-${model:-anth-glm-5.3}}"
|
||||
[ "${model_zai:--}" = "-" ] && model_zai="$model"
|
||||
[ "${model_flash:--}" = "-" ] && model_flash="$model"
|
||||
# Окно контекста по модели, а не глобальным CLAUDE_CODE_MAX_CONTEXT_TOKENS: у glm-5.3 на
|
||||
# Anthropic-эндпоинте 1M (07.10 через прокси прошёл запрос на 598K), суффикс [1m] Claude Code
|
||||
# в API не шлёт. zai-glm-5.3 и flash - стандартные 200K с автокомпактом (flash 19.10 принял
|
||||
# 173K; окно больше 200K у них не проверено, а за пределом прокси отвечает "Prompt exceeds
|
||||
# max length" вместо компакта).
|
||||
model="${ELTEX_MODEL:-${model:-glm-5.3}}"
|
||||
# Окно 1M через суффикс [1m], а не глобальным CLAUDE_CODE_MAX_CONTEXT_TOKENS (у glm-5.3 на
|
||||
# Anthropic-эндпоинте Z.ai 07.10 прошёл запрос на 598K); суффикс Claude Code в API не шлёт.
|
||||
opus_model="$model"
|
||||
case "$model" in anth-glm-5.3*) opus_model="${model}[1m]" ;; esac
|
||||
case "$model" in glm-5.3*) opus_model="${model}[1m]" ;; esac
|
||||
echo "Модель: $model"
|
||||
echo "В /model также: $model_zai (OpenAI-эндпоинт, без картинок), $model_flash (быстрая)"
|
||||
|
||||
_PROMPT_FILE=$(mktemp /tmp/ai-sys-prompt.XXXXXX)
|
||||
trap 'rm -f "$_PROMPT_FILE"' EXIT INT TERM
|
||||
_build_ai_sys_prompt > "$_PROMPT_FILE"
|
||||
export AI_LAUNCHER=eltex
|
||||
export CLAUDE_CONFIG_DIR="$HOME/.config/ai-setup/cfg/eltex"
|
||||
# Пикер: opus = anth-glm-5.3 (по умолчанию), sonnet = zai-glm-5.3 (OpenAI-эндпоинт: без
|
||||
# картинок и effort), haiku = zai-glm-5.3-flash (видит картинки сама, effort нет; слот haiku
|
||||
# Claude Code берёт и для фоновых задач вроде заголовков - на flash это дешевле).
|
||||
# availableModels НЕ задаём (он схлопывает пикер); незаданный слот показал бы чужой Claude.
|
||||
# Пикер: все слоты (opus, sonnet, haiku) = glm-5.3, других моделей ai-eltex не использует.
|
||||
# Незаданный слот показал бы чужой Claude, а haiku Claude Code берёт и для фоновых задач
|
||||
# вроде заголовков. availableModels НЕ задаём (он схлопывает пикер).
|
||||
# Effort как у ai-glm: старт на max через CLI --effort (перебивает effortLevel из
|
||||
# settings.json; AI_EFFORT=max в settings Claude Code не принимает и шлёт high), /effort
|
||||
# в сессии работает. С 09.10 прокси пропускает output_config.effort для anth-glm-5.3:
|
||||
# low/medium/high/max = 68/83/~4-6K/~4-5K выходных токенов (Z.ai: low,medium->low;
|
||||
# high,xhigh->high; max). CLAUDE_CODE_ALWAYS_ENABLE_EFFORT - страховка, как в ai-glm.
|
||||
# в сессии работает. Z.ai учитывает output_config.effort (20.10 через /anthropic):
|
||||
# low - без размышлений, дальше medium < high < max.
|
||||
# CLAUDE_CODE_ALWAYS_ENABLE_EFFORT - страховка, как в ai-glm.
|
||||
# Имена-алиасы claude-* на прокси НЕ используем: claude-3-5-sonnet Claude Code считает
|
||||
# старым Claude 3.5 Sonnet (без effort и thinking, max_tokens=8192); у claude-5-5-sonnet
|
||||
# один деплоймент на всех, модели говорят, что она Claude Sonnet, а statusline показывает
|
||||
@@ -1858,11 +1851,10 @@ export CLAUDE_CONFIG_DIR="$HOME/.config/ai-setup/cfg/eltex"
|
||||
# "You are powered by": разброс внутри одного имени больше разницы между именами).
|
||||
# CLAUDE_CODE_MAX_OUTPUT_TOKENS=64000 вместо дефолтных 32000, как у ai-glm.
|
||||
# API_TIMEOUT_MS из доки админов: прокси бывает медленным.
|
||||
# Окно anth-glm-5.3 - 1M через [1m] (см. выше). Автокомпакт на 200K из доки админов и
|
||||
# Окно glm-5.3 - 1M через [1m] (см. выше). Автокомпакт на 200K из доки админов и
|
||||
# CLAUDE_CODE_DISABLE_1M_CONTEXT не ставим: ctx: показывал бы занятость в ~5 раз больше
|
||||
# реальной, а ответ с analyze_image (Z.ai считает usage за оба прохода модели, ~x2) мог бы
|
||||
# досрочно запустить компакт.
|
||||
# ENABLE_TOOL_SEARCH НЕ включаем: на anthropic-деплойментах прокси (Z.ai /api/anthropic)
|
||||
# реальной.
|
||||
# ENABLE_TOOL_SEARCH НЕ включаем: на Anthropic-эндпоинте Z.ai
|
||||
# GLM с ним путается - ищет Read/Bash через ToolSearch и решает, что их нет. Цена -
|
||||
# схемы встроенных тулов в каждом запросе (~+11K входных токенов).
|
||||
_setup_isolated_config eltex opus xhigh ''
|
||||
@@ -1876,17 +1868,17 @@ description: Удалить сохранённый ключ ai-eltex (обраб
|
||||
---
|
||||
Хук не сработал: удали ~/.config/ai-setup/eltex_key вручную и перезапусти ai-eltex (или запусти AI_RESET_KEY=1 ai-eltex).
|
||||
CMDEOF
|
||||
ANTHROPIC_BASE_URL="$eltex_base_url" \
|
||||
ANTHROPIC_BASE_URL="$eltex_base_url/anthropic" \
|
||||
ANTHROPIC_AUTH_TOKEN="$api_key" \
|
||||
ANTHROPIC_DEFAULT_OPUS_MODEL="$opus_model" \
|
||||
ANTHROPIC_DEFAULT_OPUS_MODEL_NAME="$model" \
|
||||
ANTHROPIC_DEFAULT_OPUS_MODEL_DESCRIPTION="GLM 5.3, Anthropic-эндпоинт: картинки, effort, окно 1M" \
|
||||
ANTHROPIC_DEFAULT_SONNET_MODEL="$model_zai" \
|
||||
ANTHROPIC_DEFAULT_SONNET_MODEL_NAME="$model_zai" \
|
||||
ANTHROPIC_DEFAULT_SONNET_MODEL_DESCRIPTION="GLM 5.3, OpenAI-эндпоинт: без картинок и effort, окно 200K" \
|
||||
ANTHROPIC_DEFAULT_HAIKU_MODEL="$model_flash" \
|
||||
ANTHROPIC_DEFAULT_HAIKU_MODEL_NAME="$model_flash" \
|
||||
ANTHROPIC_DEFAULT_HAIKU_MODEL_DESCRIPTION="GLM 5.3 Flash: быстрая, картинки видит сама, без effort, окно 200K" \
|
||||
ANTHROPIC_DEFAULT_OPUS_MODEL_DESCRIPTION="GLM 5.3: картинки, effort, окно 1M" \
|
||||
ANTHROPIC_DEFAULT_SONNET_MODEL="$opus_model" \
|
||||
ANTHROPIC_DEFAULT_SONNET_MODEL_NAME="$model" \
|
||||
ANTHROPIC_DEFAULT_SONNET_MODEL_DESCRIPTION="GLM 5.3: картинки, effort, окно 1M" \
|
||||
ANTHROPIC_DEFAULT_HAIKU_MODEL="$opus_model" \
|
||||
ANTHROPIC_DEFAULT_HAIKU_MODEL_NAME="$model" \
|
||||
ANTHROPIC_DEFAULT_HAIKU_MODEL_DESCRIPTION="GLM 5.3: картинки, effort, окно 1M" \
|
||||
CLAUDE_CODE_SUBAGENT_MODEL="$opus_model" \
|
||||
CLAUDE_CODE_MAX_OUTPUT_TOKENS=64000 \
|
||||
CLAUDE_CODE_ALWAYS_ENABLE_EFFORT=1 \
|
||||
|
||||
Reference in New Issue
Block a user