Запуск Deepseek-v3 671b на своем сервере

• Запуск модели DeepSik на сервере с процессором EPYC и 512 ГБ оперативной памяти.  

• Использование оперативной памяти для запуска модели из-за её большого размера.  

• Запуск модели с помощью проекта Alama.  

• Установка и запуск модели с помощью команды в терминале.  

• Загрузка весов модели занимает несколько часов.  

• Модель запускается на процессоре, видеокарты отключены.  

• Модель работает на процессоре, загрузка ядер полная.  

• Сравнение скорости работы с оригинальным чатом DeepSik.  

• Тестирование скорости обработки запросов.  

• Обзор модели ResNet-101 и её аналогов.  

• Возможность запуска дистиллированных моделей на видеокартах.  

• Тестирование модели K-32B на видеокартах.  

• Стоимость сервера для запуска модели на процессоре и видеокартах.  

• Доступность модели DeepSik через API и провайдеров.  

• Проблемы с доступностью серверов и использование OpenRouter.  

• Фа Воркс работает быстрее, генерируя 12 токинов в секунду.  

• На сервере автора скорость генерации составляет 4 токина в секунду, что в четыре раза медленнее.  

• Показаны основные способы запуска депсика и использование сайтов с доступом через чат по опе.  

• Обзор моделей и предложение записать видео о запуске депсика на видеокартах или дистилированных моделях.  

• Призыв подписаться на канал и ставить лайки.