🦜️🔗 GigaChain (GigaChat + LangChain)

Библиотека для разработки LangChain-style приложений на русском языке с поддержкой GigaChat
Создать issue · Документация GigaChat

GigaChain это фреймворк для разработки приложений с использованием больших языковых моделей (LLM), таких как GigaChat или YandexGPT. Он позволяет создавать приложения, которые:

• Учитывают контекст: подключите свою модель к источникам данных
• Могут рассжудать: Положитесь на модель в построении рассуждениях (о том, как ответить, опираясь на конекст, какие действия предпринять и т.д.)

Это фреймворк состоит из нескольких частей

• Библиотека GigaChain: Библиотека на python содержит интерфейсы и интеграции для множества компонентов, базовую среду выполнения для объединения этих компонентов в цепочки и агенты, а также готовые реализации цепочек и агентов.
• Хаб промптов: Набор типовых отлаженых промптов для решения различных задач.
• GigaChain Templates: Коллекция легко развертываемых шаблонных решений для широкого спектра задач.
• GigaServe: Библиотека для публикации цепочек GigaChain как REST api.

Также фреймворк совместим со сторонним сервисом LangSmith.

• LangSmith: Платформа для разработчиков, которая позволяет отлаживать, тестировать, оценивать и отслеживать цепочки, построенные на любой платформе LLM, и легко интегрируется с LangChain и GigaChain.

Этот репозитарий содержит gigachain (ссылка), gigachain-core (ссылка), gigachain-community (ссылка)gigachain-experimental (ссылка), и gigachain-cli (ссылка) пакеты Python и GigaChain Templates.

Библиотека упростит интеграцию вашего приложения с нейросетевой моделью GigaChat и поможет в следующих задачах:

• Работа с промптами и LLM.

  Включая управление промптами и их оптимизацию. GigaChain предоставляет универсальный интерфейс для всех LLM, а также стандартные инструменты для работы с ними.

• Создание цепочек (Chains).

  Цепочки представляют собой последовательность вызовов к LLM и/или другим инструментам. GigaChain предоставляет стандартный интерфейс для создания цепочек, различные интеграции с другими инструментами и готовые цепочки для популярных приложений.

• Дополнение данных (Data Augmented Generation).

  Генерация с дополнением данными включает в себя специфические типы цепочек, которые сначала получают данные от внешнего источника, а затем используют их в генерации. Примеры включают в себя суммирование больших текстов и ответы на вопросы по заданным источникам данных.

  Пример — Ответы на вопросы по статьям из wikipedia)

• Работа с агентами (Agents).

  Агент представляет собой LLM, которая принимает решение о дальнейшем действии, отслеживает его результат, и, с учетом результата, принимает следующее решение. Процесс повторяется до завершения. GigaChain предоставляет стандартный интерфейс для работы с агентами, выбор агентов и примеры готовых агентов.

  Пример — CAMEL агент для разработки программ

• Создание памяти.

  Память сохраняет состояние между вызовами цепочки или агента. GigaChain предоставляет стандартный интерфейс для создания памяти, коллекцию реализаций памяти и примеры цепочек и агентов, которые используют память.

• Самооценка (Evaluation).

  BETA Генеративные модели традиционно сложно оценивать с помощью стандартных метрик. Один из новых способов оценки — использование самих языковых моделей. GigaChain предоставляет некоторые запросы и цепочки для решения таких задач.

Библиотеку можно установить с помощью pip:

pip install gigachain

Основной особенностью библиотеки является наличие модуля gigachat, который позволяет отправлять запросы к нейросетевой модели GigaChat.

Для авторизации запросов к GigaChat вам понадобится получить авторизационные данные для работы с GigaChat API.

Для работы с сервисом GigaChat передайте полученные авторизационные данные в параметре credentials объекта GigaChat.

chat = GigaChat(credentials=<авторизационные данные>)

Для обращения к GigaChat в вашем приложении или в вашей ОС должны быть установлены сертификаты минцифры. О том как настроить сертификаты минцифры для обращения к GigaChat читайте в официальной документации.

Вы можете установить сертификаты с помощью утилиты gigachain-cli. Для этого:

1. Установите утилиту с помощью менеджера пакетов pip:

pip install gigachain-cli

2. Установите сертификаты с помощью команды:

gigachain install-rus-certs

Если вы не используете сертификат минцифры, то при создании объекта GigaChat вам нужно передать параметр verify_ssl_certs=False .

chat = GigaChat(credentials=<авторизационные данные>, verify_ssl_certs=False)

Вот простой пример работы с чатом с помощью модуля:

"""Пример работы с чатом через gigachain"""
from langchain.schema import HumanMessage, SystemMessage
from langchain.chat_models.gigachat import GigaChat

# Авторизация в сервисе GigaChat
chat = GigaChat(credentials=<авторизационные_данные>, verify_ssl_certs=False)

messages = [
    SystemMessage(
        content="Ты эмпатичный бот-психолог, который помогает пользователю решить его проблемы."
    )
]

while(True):
    user_input = input("User: ")
    messages.append(HumanMessage(content=user_input))
    res = chat(messages)
    messages.append(res)
    print("Bot: ", res.content)

Развернутую версию примера смотрите в notebook Работа с GigaChat. Здесь же показан пример работы со стримингом.

Больше примеров в коллекции.

Модуль gigachat позволяет авторизовать запросы от вашего приложения в GigaChat с помощью GigaChat API. Модуль поддерживает работу как в синхронном, так и в асинхронном режиме. Кроме этого модуль поддерживает обработку потоковой передачи токенов¹.

Модуль поддерживает не только GigaChat. Поэтому, если ваше приложение уже использует другие нейросетевые модели, интеграция с GigaChat не составит труда.

Ниже представлен список примеров использования GigaChain.

• Ответы на вопросы по статьям из wikipedia
• Суммаризация по алгоритму MapReduce (см. раздел map/reduce)
• Работа с хабом промптов, цепочками и парсером JSON
• Парсинг списков, содержащихся в ответе
• Асинхронная работа с LLM
• Использование Elastic для поиска ответов по документам
• Использование разных эмбеддингов для Retrieval механизма
• Генерация и выполнение кода с помощью PythonREPL
• Работа с кэшем в GigaChain
• CAMEL агент для разработки программ
• Автономный агент AutoGPT с использованием GigaChat
• Генерация плейлистов с помощью GigaChain и Spotify
• Работа с LlamaIndex: с помощью ретривера и QA цепочки / с помощью тула и Conversational агента

• Площадка для споров между GigaChat и YandexGPT с судьей GPT-4
• Игра Blade Runner: GPT-4 и GigaChat выясняют, кто из них бот
• Игра в стиле DnD с GPT-3.5 и GigaChat With pip:

pip install langchain

With conda:

pip install langsmith && conda install langchain -c conda-forge

• Агент-менеджер по продажам с автоматическим поиском по каталогу и формированием заказа
• Поиск ответов в интернете с автоматическими промежуточными вопросами (self-ask)
• Пример использования YandexGPT

• Чат-бот на базе GigaChat с потоковой генерацией и разными видами авторизации Try demo

• GigaShell - copilot для командной строки

GigaChain — это проект с открытым исходным кодом в быстроразвивающейся области. Мы приветствуем любое участие в разработке, развитии инфраструктуры или улучшении документации. [BETA] Генеративные модели, как известно, трудно оценить с помощью традиционных показателей. Одним из новых способов их оценки является использование для оценки самих языковых моделей. LangChain предоставляет несколько подсказок/цепочек для помощи в этом.

Подробнее о том, как внести свой вклад.

Please see here for full documentation, which includes:

• Getting started: installation, setting up the environment, simple examples
• Overview of the interfaces, modules and integrations
• Use case walkthroughs and best practice guides
• LangSmith, LangServe, and LangChain Template overviews
• Reference: full API docs

Проект распространяется по лицензии MIT, доступной в файле LICENSE.

For detailed information on how to contribute, see here.