Секреты сборки компьютера для инференса LLM. Нейросети запускаем локально.

• Автор рассказывает о своем опыте создания домашнего компьютера для запуска нейросетей.  

• Представлена нейросеть Lama-70B с 70 миллиардами параметров, показывающая хорошие результаты.  

• Для запуска Lama-70B требуется 38 ГБ видеопамяти, что можно обеспечить двумя видеокартами с 24 ГБ видеопамяти.  

• В облачных сервисах, таких как iMer Cloud, можно арендовать сервер с несколькими видеокартами.  

• Аренда за час удобна для тестирования конфигураций, таких как Lama-70B.  

• Месячная аренда сервера для запуска Lama-70B стоит около 64 тысяч рублей.  

• Для экспериментов лучше брать почасовую аренду, чтобы остановить машину после завершения теста.  

• Карты 4090, 5000 и 6000 используют подключение PCIe 4.0 для максимальной скорости.  

• Пауэр лимит видеокарт установлен на дефолтные значения для полной производительности.  

• Автор решил собрать сервер на основе имеющихся комплектующих.  

• Материнская плата поддерживает три видеокарты, но корпус системного блока не позволяет установить больше одной.  

• Использование райзеров для подключения видеокарт к материнской плате.  

• Скорость PCIe важна для инференции нейросетей.  

• Подключение видеокарт по PCIe 4.0 улучшает производительность на 20-25%.  

• Использование более продвинутой материнской платы с PCIe 4.0 может повысить скорость работы нейросетей.  

• Процессор используется минимально, так как данные обрабатываются на видеокартах.  

• Оперативная память используется минимально, можно использовать компьютер с меньшим объемом памяти.  

• Быстродействие оперативной памяти не влияет на производительность.  

• Диск используется только для загрузки весов нейросети, после чего не используется.  

• Мощный блок питания необходим для работы видеокарт.  

• Автор использует блок питания на 1300 Вт, что достаточно для трех видеокарт.  

• Нейросети Lama-70B и Lama-8B доступны публично через сайт и телеграм-бота.  

• Сервер можно использовать для программирования и автоматизации рутинных задач.  

• Автор приглашает к обсуждению и подписке на канал.