Андрей Карпати предложил альтернативу RAG — LLM Knowledge Bases на Markdown

Андрей Карпати, бывший директор по искусственному интеллекту Tesla и сооснователь OpenAI, представил новый подход к управлению знаниями, который может изменить методику исследовательских проектов. Метод, названный LLM Knowledge Bases, предлагает задействовать большие языковые модели (LLM) для создания и поддержки структурированных баз знаний в формате Markdown (.md). По словам автора, это помогает бороться с потерей контекста в ИИ-проектах и делает рабочие процессы более прозрачными и эффективными.

Карпати описывает систему как решение проблемы «статичности», когда контекст работы исчезает после окончания сессии. В отличие от векторных баз данных и подхода Retrieval-Augmented Generation (RAG), его концепция ставит во главу угла простоту и прозрачность. Вместо сложных алгоритмов поиска LLM генерирует, редактирует и поддерживает базу знаний; исходные материалы — научные статьи, репозитории и веб-контент — сохраняются в Markdown. Для преобразования веб-страниц в локальные файлы, включая изображения, Карпати использует инструмент Obsidian Web Clipper.

Андрей Карпати
Изображение сгенерировано: Grok

Модель анализирует собранные данные, формирует структурированные статьи, создаёт ссылки между связанными понятиями и пишет энциклопедические заметки. Так разрозненные фрагменты превращаются в связную базу знаний. Система регулярно проводит «проверки здоровья» (linting), исправляет несоответствия, добавляет новые связи и обновляет сведения — это делает базу «живой» и самовосстанавливающейся.

Карпати подчёркивает, что использование Markdown обеспечивает понятность и доступность: каждый файл можно прочитать, отредактировать или удалить вручную. По его оценке, это устраняет проблему «чёрного ящика», присущую векторным базам данных и «скиллам», где трудно проследить источник информации или её применение. Кроме того, система экономит ресурсы LLM: модель работает с уже структурированной информацией, а не обрабатывает большие объёмы данных в реальном времени, что снижает нагрузку и повышает точность.

Архитектура системы
Архитектура системы. Источник: X@himanshu

Хотя проект изначально задумывался для личных исследовательских нужд, по мнению автора, у него большой потенциал для корпоративного применения. Компании могли бы создать «корпоративную библию», автоматически обновляющуюся и синхронизируемую с внутренними данными — актуально для организаций с большим объёмом неструктурированных материалов, таких как отчёты, логи и внутренние вики.

Дальнейшее развитие Карпати видит в генерации синтетических данных и дообучении моделей: по мере роста базы знаний она может стать источником тренировочных наборов для специализированных ИИ, которые будут интегрировать знания напрямую в свои веса. Его подход уже привлёк внимание сообщества — например, Лекс Фридман использует похожую систему для создания временных баз знаний, помогающих в работе.

Я часто использую систему для генерации динамического HTML (с JavaScript), что позволяет мне сортировать/фильтровать данные и интерактивно работать с визуализациями. Еще одна полезная функция — система генерирует временную, узкоспециализированную мини-базу знаний, которую я затем загружаю в LLM для голосового взаимодействия во время длительной пробежки на 7-10 миль

Лекс Фридман

Другие эксперты отмечают, что метод Карпати может лечь в основу новых продуктов и изменить подход к управлению знаниями как в личных, так и в корпоративных масштабах.

ixbt.com

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.