Как превратить ваш Mac в умного помощника!

Привет! Хотели бы вы, чтобы ваш компьютер выполнял команды как настоящий умный помощник? Мы расскажем о проекте, который это осуществляет. Вас ждет увлекательное путешествие в мир технологий и искусственного интеллекта!

Проблема

Мы знаем, что современные крупные языковые модели (LLM) могут понять команды на обычном языке и действовать по ним. Но их огромный размер и требовательность к ресурсам мешают использовать их на обычных устройствах. Часто они работают через облака, что может создавать проблемы с конфиденциальностью и зависеть от интернет-соединения.

Можно ли сделать эти модели меньше, чтобы они работали локально?

Да! Наша цель — создать маленькие модели, которые могут решать сложные задачи и работать локально, без интернета. Это позволит экономить ресурсы и защищать ваши данные.

Как это работает на примере Mac

Представьте, что у вас есть помощник, который управляет вашим расписанием, пишет письма, отправляет сообщения и даже организует встречи в Zoom. Разве это не круто? Такие функции интегрированы в нашего помощника для Mac.

• Email: Написание и пересылка писем
• Контакты: Поиск номеров телефонов и адресов
• SMS: Отправка сообщений
• Календарь: Создание событий
• Заметки: Работа с заметками
• Напоминания: Настройка напоминаний
• Управление файлами: Открытие и чтение документов
• Zoom: Организация встреч

Учимся делать вызовы функций

Чтобы модель могла выполнять функции, мы обучили ее правильно интерпретировать команды и запускать нужные действия. Мы использовали специальный метод, который называется LLMCompiler.

Создание обучающего набора данных

Для этого нам понадобились данные. Мы использовали мощные модели, чтобы создать примеры запросов и планы выполнения задач. В итоге у нас получилось 80 тысяч примеров для обучения и 1 тысяча для тестирования.

Улучшение модели

Мы дообучили маленькие модели на наших данных. Это повысило их точность с 12,71% до 78,89% для меньшей модели и до 83,09% для более крупной.

Как сделать модель быстрее?

Чтобы модель работала быстрее, мы уменьшили размер входных данных. Для этого мы используем только те функции, которые нужны для выполнения конкретного запроса. Это снижает нагрузку и ускоряет работу.

Мы также использовали метод Tool RAG, чтобы подбирать нужные функции. Это помогло уменьшить количество используемых функций с 6 до 3.97 в среднем, сохранив точность на уровне 99.8%.

Быстрая загрузка с помощью квантования

Мы также применили метод квантования, чтобы модель использовала меньше памяти и работала быстрее. Это снизило время отклика и размер модели более чем в 4 раза.

Итоги

Мы создали мощного помощника, который работает на вашем Mac и выполняет команды быстро и точно. Модель TinyAgent-1.1B даже превзошла GPT-4-Turbo по точности, работая локально.

Нравится идея? Хотите попробовать сами? Посетите наш GitHub и узнайте больше!

Попробуйте TinyAgent уже сегодня и дайте нам знать, как он вам помогает!

Благодарности

Мы благодарим Apple, NVIDIA и Microsoft за поддержку этого проекта. Особая благодарность Sunjin Choi за его помощь в оценке энергозатрат.