Создайте сервер искусственного интеллекта менее чем за 1 тысячу долларов и запустите LLM локально БЕСПЛАТНО

• Дилан, техно-гизгай, показывает, как запустить модели искусственного интеллекта дома и создать сервер для машинного обучения с ограниченным бюджетом.  

• Сервер стоит менее одного доллара и не предназначен для первоклассной производительности.  

• Не стоит ожидать, что модели будут работать быстрее, чем ChatGPT.  

• Сервер Dell R730 куплен за 600 долларов, оснащен двумя процессорами Xeon E5-2690v7 и 64 ГБ оперативной памяти.  

• Установлены два блока питания мощностью 1,1 кВт для резервирования.  

• Внутри сервера будут установлены две видеокарты NVIDIA Tesla P40.  

• Видеокарты куплены за 360 долларов каждая, каждая с 24 ГБ оперативной памяти.  

• Для богатых пользователей можно собрать сервер с более дорогими видеокартами и оперативной памятью.  

• Сервер потребляет много энергии, но его можно приобрести дешево.  

• Если у вас уже есть хороший компьютер, например, игровой или Mac, вам не нужен сервер.  

• Apple Silicon Mac и другие устройства хорошо справляются с моделями искусственного интеллекта.  

• Программное обеспечение для работы с ИИ можно скачать бесплатно.  

• Видеокарты Tesla P40 не имеют восьмиконтактного разъема PCI Express, а используют разъем EPS.  

• Для подключения видеокарт к серверу используются разделители EPS.  

• Рекомендуется использовать 3D-печать для охлаждения видеокарт.  

• Видеокарты установлены, кабели подведены, сервер готов к работе.  

• Для работы с ИИ нужно скачать драйверы NVIDIA и программу LLM Studio.  

• LLM Studio позволяет запускать большие языковые модели и общаться с ИИ через чат.  

• Hugging Face - сообщество моделей с открытым исходным кодом.  

• Здесь можно найти модели для различных задач, таких как преобразование текста в речь и изображение.  

• LLM Studio напрямую ссылается на Hugging Face, что упрощает загрузку моделей.  

• Можно использовать модели с параметрами до 340000000000.  

• Модель с 70 миллиардами параметров занимает 30 гигабайт.  

• Чем больше параметров, тем больше объем модели.  

• Модель с 8 миллиардами параметров занимает 5 гигабайт.  

• Наличие большого объема видеопамяти полезно для обучения.  

• Загрузка модели занимает некоторое время.  

• Настройки разработчика позволяют запустить сервер и включить функции.  

• Модель загружена, и можно задать ей вопрос.  

• Модель с 8 миллиардами параметров полезна для обучения.  

• Модель с 8 миллиардами параметров может кратко рассказать историю Первой мировой войны.  

• Модель не так эффективна, как GPT-4, но бесплатна и доступна для использования.  

• Можно скачать модели Google и другие модели с большим количеством параметров.  

• Модели с большим количеством параметров можно загрузить в оперативную память.  

• Призыв к изучению искусственного интеллекта и подписке на канал.  

• Канал публикует технические видеоролики и домашние лабораторные работы.