Ерзат Дулат, Higgsfield.AI - Казахстанский ИИ-стартап, который покоряет Кремниевую Долину | 85

• Обсуждение голливудских фильмов и технологий.  

• Компания выросла с 4 до 16 человек за три месяца.  

• Условия работы: отсутствие выходных, ночевка в офисе.  

• Анонс восьмимиллионного раунда инвестиций.  

• Планы по созданию фундаментальной видео-модели.  

• Гость подкаста: Ирзадулат, сооснователь компании Hixfield.  

• Идея создания стартапа после обсуждения различных стартапов.  

• Hixfield изначально был инфраструктурным стартапом.  

• Фреймворк для обучения больших нейронных сетей.  

• Фреймворк позволяет джуниор-инженерам тренировать модели.  

• Объединение различных специалистов в одном фреймворке.  

• Оптимизация скорости итераций машинного обучения.  

• Сравнение с другими компаниями, такими как Mosaic и Ray.  

• Hixfield использует все уровни стека: от операционной системы до нейронных сетей.  

• Цель: уменьшить барьер для входа и ускорить итерации.  

• Знакомство с Алексом Масштабовым летом 2023 года.  

• Быстрое нахождение общего языка и постоянное общение.  

• Включение Азата Хайрова в команду.  

• После приезда Алекса команда рассматривала разные идеи.  

• Фокус на тексту видео и инфраструктуре.  

• Много идей для развития, включая безопасность и приложения.  

• Использование мета-оптимизационных алгоритмов для промта-инжиниринга.  

• Оптимизация промта под конкретную бизнес-задачу.  

• Промт как эволюционный алгоритм, мутирующий для нахождения оптимального решения.  

• Решение сосредоточиться на видео из-за ограниченного времени.  

• Опыт в мультиагентных системах и интерес к играм.  

• Возможность создания генеративных миров с мультиагентами.  

• Использование движков на нейронных сетях для создания игр.  

• Агенты как строительные блоки для игр.  

• Сравнение с текстовыми моделями и важность текущего момента.  

• Ворлд модели как модели мира из реинфорслединга.  

• Применение ворлд моделей в робототехнике и автономных автомобилях.  

• Обучение нейронных сетей на синтетических данных для имитации реального мира.  

• Гибридные модели: трансформеры и диффузия.  

• Различие между диффузией и архитектурой модели.  

• Преимущества архитектуры юнет для сегментации медицинских изображений.  

• Использование юнет для тренировки диффузии.  

• Переход к трансформерам и новым алгоритмам, таким как флоу-маченко.  

• Интуиция и создание видео с помощью диффузии и трансформеров.  

• Нейронная сеть учится отделять шум от данных.  

• Пример: добавление белого шума к видео или картинке.  

• Задача сети: предсказать шум и восстановить исходные данные.  

• GAN предсказывает картинку из шума, что сложнее.  

• Проблема: дискриминатор может генерировать только одну картинку.  

• Диффузия: итеративное восстановление картинки из шума.  

• Диффузия изначально генерировала случайные картинки.  

• Добавление текстовых данных улучшает качество генерации.  

• Видео модели генерируют целое видео сразу, без промежуточных этапов.  

• Использование трансформера для масштабирования.  

• Инфраструктура для тренировки и обслуживания нейронных сетей.  

• Горизонтальное масштабирование для обработки миллионов пользователей.  

• Приложение для генерации видео с использованием лица пользователя.  

• Возможность контроля движения и фона.  

• Инструмент для ускорения производства видеоконтента.  

• Планы по подписке и продаже доступа к ИИ.  

• Рост команды с 4 до 16 человек за три месяца.  

• Поиск новых инженеров и специалистов для развития продукта.  

• Изначально планировалось работать 60 часов в неделю, но оказалось, что это минимум.  

• В итоге работают по 4-5 дней в офисе, ночуя там.  

• Цель - создать первый юникор из Казахстана и модели из Казахстана.  

• Используют 32 GPU и множество провайдеров, включая Google Cloud и AWS.  

• Перепробовали множество провайдеров, чтобы найти лучшие условия.  

• Сейчас используют Google Cloud благодаря эксклюзивному партнерству.  

• Рекомендует подавать на программы Microsoft и AWS для стартапов.  

• Важно правильно использовать кредиты и утилизировать ресурсы.  

• Провайдеры предоставляют мощные GPU и другие ресурсы бесплатно.  

• Основной стек: Python, Go, Swift.  

• Python используется для бэкенда и обработки данных.  

• Go удобен для сборки бинарных файлов и динамической сборки.  

• Качество видео улучшается за счет увеличения вычислений и правильной утилизации ресурсов.  

• Важно найти баланс между качеством, бюджетом и дедлайном.  

• Только несколько компаний, таких как Anthropic и OpenAI, умеют правильно настраивать тренировки моделей.  

• В индустрии много компаний с разными подходами.  

• Подход с использованием трансформеров и world models признан лучшим.  

• Компании, использующие 3D компьютерную графику, сталкиваются с трудностями и требуют много ручной работы.  

• Видеокомпании и стартапы используют разные подходы.  

• Стартапы, основанные на опенсорс решениях, сталкиваются с проблемами качества.  

• Необходимость создания собственных моделей для улучшения качества видео.  

• Обсуждение контроля моделей и видео.  

• Преимущества в качестве и длине видео.  

• Возможность выбора аспектов и трейшей видео.  

• Возможность редактирования видео в Adobe Premiere.  

• Предоставление информации о объектах в видео.  

• Проблемы с консистенцией персонажей в существующих редакторах.  

• Желание создавать персонализированный контент.  

• Прогнозы на будущее: персонализированные фильмы и видео.  

• Важность рекомендательных систем для генерации контента.  

• Тренды в мультимодальности и LLM.  

• Увеличение длины контекста для обработки видео и аудио.  

• Возможность генерации 3D-миров и музыки.  

• Экономические и технические ограничения для обработки больших объемов данных.  

• Возможность создания компании, конкурирующей с NVIDIA и AMD.  

• Важность конкуренции в индустрии.  

• Грок - компания, созданная Сэмом Альтманом, которая делает специализированное железо для инференса.  

• Грок запустил чат-бота, который мгновенно отвечает на вопросы.  

• Специализированное железо для инференса легче сделать, чем общее назначение.  

• Инференс стал большим рынком, так как раньше его не было.  

• Компании, такие как Google и Invid, доминируют в тренировках моделей.  

• В будущем рынок инференса будет расти, и специализированное железо будет лучше.  

• LLM часто галлюцинируют, но есть решения, такие как Perpt, которые дают ответы на основе источников.  

• LLM активно внедряются в интерпрайзе, но требуют больших объемов данных.  

• Промежуточные решения, такие как Reg, помогают интегрировать данные в LLM.  

• Для создания стартапов на основе LLM нужно знать промт инженеринг и фреймворки.  

• Важно понимать, как оптимизировать LLM для различных кейсов.  

• Автономные агенты будут постепенно заменять людей в корпорациях, но пока это будет дороже и медленнее.  

• Опенсорс модели, такие как Mistral и LLaMA, становятся все более популярными.  

• Энтузиасты создают новые методы для улучшения моделей, такие как онтологии и эволюционные алгоритмы.  

• Блуммер, созданный с использованием финансовых данных, может быть полезен в интерпрайзе, где G4 не подходит.  

• Масштабирование трансформеров и альтернативных архитектур.  

• Оптимизация использования вычислительных мощностей.  

• Проблемы с качеством моделей, экономящих на вычислительных ресурсах.  

• Трансформеры лучше используют вычислительные мощности.  

• Проблемы с контекстным обучением и длиной контекста.  

• Необходимость использования более мощных процессоров для больших моделей.  

• Переход к специализированному железу для конкретных архитектур.  

• Возможность достижения предела в улучшении моделей.  

• Появление узкоспециализированного железа для узких сфер.  

• Эволюция мышления о создании сложных алгоритмов.  

• Переход к использованию вычислительных мощностей.  

• Важность правильного использования вычислительных ресурсов.  

• Необходимость объединения нескольких дата-центров.  

• Производные архитектуры от текущих конфигураций.  

• Будущее за архитектурой, оптимизированной для больших моделей.  

• Изучение топ-чартов и спящих гигантов.  

• Исследование трендов и моделей.  

• Погружение в текущую сферу и работа над проблемами.  

• Важно понимать, как применить LLM в своей сфере.  

• Молодым специалистам лучше сосредоточиться на рынке, где они экспертны.  

• Не стоит идти в интерпрайс продажи без опыта.  

• Нужно много итерировать, чтобы понять, куда пойдет бизнес.  

• Можно начать с аутсорс компании и постепенно фокусироваться на одной вертикали.  

• Автоматизация мелких задач с большим потоком кэша может быть перспективной.  

• Пример стартапа, который анализирует посты в соцсетях на соответствие законодательству.  

• Важно минимизировать теоретические итерации и больше действовать в реальном мире.  

• Итерация на рынке помогает лучше понять и улучшить продукт.  

• Клод Антропика и Пи Дота как примеры успешных продуктов.  

• Ожидания по появлению антропостичных роботов.  

• Проблема дипфейков и необходимость жесткого регулирования.  

• ИИ может сильно изменить ландшафт войны.  

• Пример стартапа по оптимизации логистики дронов.  

• Израиль использует ИИ для определения целей с минимальным участием людей.  

• Вопрос о пользе и вреде технологий для общества.  

• Технологии могут как лечить болезни, так и приводить к массовым потерям, как в мировых войнах.  

• В долгосрочной перспективе человечество может исчезнуть из-за природных катаклизмов.  

• Джуниор специалисты обеспокоены своей стабильностью работы.  

• Стартапы и ИИ создают автономных агентов, заменяющих белых воротничков.  

• Джуниоры могут быстро освоить новые навыки и стать ценными на рынке труда.  

• ИИ повышает продуктивность труда, что ведет к росту неравенства.  

• Вопрос о том, как регулировать это неравенство с помощью базового дохода.  

• В Казахстане и других странах с развивающейся экономикой интеграция ИИ вызывает вопросы.  

• Андрей Карпаты считает, что ИИ уже достиг уровня супер-человеческой игры.  

• ИИ может оптимизировать себя и зарабатывать для себя, что приведет к захвату вселенной.  

• Люди могут рассматриваться как агенты ИИ, выполняющие определенные задачи.  

• Планирование и рефлексия улучшают качество ответов ИИ.  

• Использование дополнительных инструментов, таких как Wolfram Alpha, повышает эффективность.  

• Обещание оплаты улучшает точность ответов ИИ.  

• Оптимизм в отношении ИИ-инженеров, особенно в кодовой генерации.  

• Microsoft и GitHub имеют ценный датасет для обучения ИИ.  

• Стартапам сложно конкурировать с крупными игроками, но есть узкие сферы для развития.  

• Обсуждение различных моделей и инструментов для стартапов.  

• Использование FASTS от Facebook для векторного поиска.  

• Проблемы с обновлением данных и необходимость новых решений.  

• Использование собственных инструментов для мониторинга.  

• Рекомендации по использованию Docker и библиотек, таких как R.  

• Важность оптимизации инфраструктуры для стартапов.  

• Сложности с использованием GPU в облачных сервисах.  

• Долгосрочные контракты и их влияние на рынок.  

• Проблемы с инфраструктурой у крупных клауд-провайдеров.  

• Сравнение DeepMind и OpenAI.  

• Роль больших корпораций в инновациях.  

• Влияние Microsoft на рынок и их стратегии.  

• Оценка рынка и перспектив Google.  

• Влияние монопольного преимущества крупных компаний.  

• Возможные антимонопольные расследования.  

• Личный опыт чтения большого количества научных публикаций.  

• Рекомендации для ученых по быстрому сканированию научных статей.  

• В начале сложно читать пейперы из-за терминологии и нотации.  

• Постепенно начинаешь понимать, как читать пейперы в правильном порядке.  

• Пейперы — это паутина, где все ссылаются друг на друга, и нужно уметь ходить по ссылкам.  

• Прорывные пейперы — редкое событие, но они могут быть очень значимыми.  

• Основная масса пейперов — это "лего-блоки", которые легко читаются и понимаются.  

• Важно сортировать пейперы по интересующей области и смотреть, что было до этого.  

• Пейперы могут быть источником вдохновения для стартапов.  

• Важно сначала найти проблему в рынке, а затем изучать пейперы для её решения.  

• Обратный подход: сначала найти проблему, потом искать решения в пейперах.  

• Работа без выходных, более 60 часов в неделю.  

• Режим работы: 30 часов без сна, затем 7-8 часов сна.  

• Проблемы с синхронизацией дней и времени из-за работы в коворкинге.  

• В компании работают сильные инженеры, мотивированные интересной задачей.  

• Раздача опционов и повышение зарплаты.  

• Юридические аспекты раздачи опционов в Казахстане.  

• Технические собеседования проходят жестко, с участием нескольких инженеров.  

• Вопросы могут быть как теоретическими, так и практическими.  

• Важно, чтобы кандидат был готов к выполнению рутинных задач, таких как разметка датасетов.  

• Разметчики работают под строгим надзором инженеров.  

• Обучение включает практику под руководством опытных инженеров.  

• Кандидаты проходят несколько интервью, часто за один день.  

• Казахстанцы готовы много работать, что является плюсом.  

• Казахстан имеет сильное математическое образование и традиции.  

• Американские стартаперы ценят высокую работоспособность.  

• Американцы работают интенсивно, часто в выходные.  

• Казахстанцы могут работать так же интенсивно, как азиаты.  

• В компании установлен строгий график работы 9-9-6.  

• Некоторые инженеры не могут работать по жесткому графику из-за семейных обязательств.  

• Молодые инженеры часто готовы работать интенсивно.  

• С возрастом многие инженеры начинают обустраивать свою жизнь.  

• В Казахстане появляется все больше молодых и квалифицированных инженеров.  

• Поддержка от различных организаций, таких как Астанахаб и Хиксфилд, помогает стартапам.  

• Ожидается рост числа стартапов и специалистов из Казахстана.  

• Казахстанские инженеры создают репутацию высокой работоспособности.  

• Вице-президент фонда I&C Capital лично знакома с казахстанскими инженерами.  

• Русскоязычные фаундеры активно ищут и нанимают казахстанских специалистов.  

• В Силиконовой долине высокий уровень требований к компаниям.  

• Компании должны соответствовать высоким стандартам, чтобы быть принятыми.  

• Казахстан должен стремиться занять свою нишу в мировой экономике, как это сделали другие страны.  

• Казахстан должен развивать экономику, не зависящую от нефти.  

• Важно работать по-американски, с высокой производительностью и справедливой оплатой.  

• Инженеры, получившие опыт в Силиконовой долине, могут создавать свои стартапы.  

• Казахстан должен создавать новую экономику, работая больше, чем другие страны.  

• Культура компаний в Казахстане еще в зачаточном состоянии.  

• Важно, чтобы фаундеры были инженерами, чтобы избежать проблем с коммуникацией.  

• Процесс фанрейзинга в Кремниевой долине очень жесткий и требует много усилий.  

• Инвесторы могут задавать много вопросов, чтобы глубже понять проект.  

• Важно понимать, как работает капитализм и как устроена Силиконовая долина.  

• Компания планирует продолжать работать в Казахстане, но рассматривает возможность переезда в Долину.  

• Открытие офиса в Лондоне для расширения возможностей.  

• В будущем возможны обсуждения переезда в Долину для дальнейшего развития.  

• Офис в Лондоне будет постепенно релаксироваться для уменьшения разницы во времени с Алексом.  

• Планируется создание пайплайна для поиска лучших выпускников по физике и математике в Казахстане.  

• Важно, чтобы инженеры погружались в культуру долины и приносили её в Казахстан.  

• Выпускникам вузов, желающим стать инженерами, рекомендуется использовать бесплатные курсы и ресурсы в интернете.  

• YouTube-каналы, такие как Беркли и Стэнфорд, предлагают множество курсов по диплерлингу и рефлерлингу.  

• Минимальный эфорт для входа в индустрию включает использование бесплатных ресурсов и сервисов, таких как Google Colab и Runtastic.  

• Сонохабом планирует поддержку в предоставлении компьютеров для обучения.  

• Google Colab и другие сервисы позволяют арендовать GPU за небольшую плату.  

• Покупка собственного GPU, такого как NVIDIA 4090, может быть дорогой, но удобной для обучения.  

• Личный опыт использования видеокарт, таких как NVIDIA 1080, для обучения.  

• Азат и другие инженеры начинали с более дешевых видеокарт, но со временем перешли на более мощные.  

• Использование собственного GPU или облачных провайдеров для обучения.  

• Пример инженера, который тратит всю зарплату на покупку видеокарт и оборудования.  

• У него дома собран мощный кластер с множеством видеокарт и материнских плат.  

• Обсуждение комментариев о женитьбе и личной жизни сотрудников.  

• Пример землетрясения, когда сотрудники пришли в офис с женами, что создало комфортную атмосферу.  

• Поддержка жен в условиях интенсивной работы, включая доставку еды и бытовых принадлежностей.  

• Обсуждение проблемы формулирования позиций на естественном языке.  

• Совет развивать интуицию и учиться принимать решения.  

• Важность получения обратной связи от реального мира для улучшения решений.  

• Необходимость балансировать между рациональным и интуитивным мышлением.  

• Пример подростков, которые начинают понимать рациональное мышление.  

• Важность умения быстро принимать решения в условиях рыночной экономики.  

• Вопрос о любимых цитатах или фразах, отражающих ценности.  

• Обсуждение миллениалских офисов и их подхода к оформлению.  

• В офисе не будет цитат на стенах, так как это не соответствует стилю миллениалов.  

• Автор и его коллега Азат являются миллениалами и не против цитат.  

• В школьные годы автор читал много автобиографий и книг по менеджменту, таких как Джек Уэлч.  

• Автор читал много книг по менеджменту, включая работы Джека Уэлча.  

• Уэлч известен своим подходом к управлению, где все сотрудники сортируются по рангу.  

• Автор считает, что управление временем является ключевым ресурсом в управлении проектами.  

• Вопрос о том, сколько людей хотели бы работать в киноиндустрии, но не пошли из-за высоких барьеров.  

• Цель - снизить порог входа в киноиндустрию с помощью искусственного интеллекта.  

• Призыв к аудитории предложить идеи для фильмов, которые они хотели бы создать с помощью генеративного ИИ.