Привет, ребята! Я пытаюсь придумать идеальную конфигурацию для сборки ПК с учётом возможностей искусственного интеллекта.
Я подумывал о том, чтобы выбрать бюджетный вариант с 9950X3D и RTX 5090, когда она появится в продаже, но теперь думаю, не стоит ли присмотреться к EPYC, ThreadRipper или Xeon.
В основном я занимаюсь локальным размещением некоторых программ LLM и обеспечением возможности использования моделей искусственного интеллекта с открытым исходным кодом, а также контрольными точками обучения и так далее.
Есть какие-нибудь предложения? Может, стоит присмотреться к Quadro? Я видел, что у 5090 довольно ограниченный объем видеопамяти.
*
Я только что собрал систему на базе 9950x с видеокартой 3090 (по-прежнему 24 ГБ видеопамяти), и я бы, пожалуй, склонился к Threadripper. Вот почему.
Процессор не станет для вас узким местом, но у процессоров Ryzen (и, кажется, у Intel) всего около 24 линий PCIe. Для работы видеокарты на полной скорости требуется по 16 линий на каждую. Это значит, что две видеокарты не могут работать на полной скорости одновременно. Более того, удачи вам в поиске материнской платы, которая позволит использовать вторую видеокарту через x1, поэтому, по сути, считайте, что на практике вы можете использовать только одну видеокарту. Это усложнит работу моделей 70b и более крупных.
Таким образом, вместо этого вы могли бы взять свой мощный 9950x и оснастить его системной оперативной памятью для выполнения вычислений на ЦП. Это медленнее, чем видеокарта, но вполне приемлемо, поскольку сам процессор очень хорош. Но вот следующая проблема: процессоры Ryzen значительно снизят скорость оперативной памяти, как только вы добавите 4 модуля, что может понадобиться для запуска больших моделей. Лучшее, что вы можете сделать без снижения производительности оперативной памяти, — это использовать 2 модуля по 48 ГБ. Материнская плата может поддерживать до 256 ГБ, но это будет компромисс.
В общем, если вы купите Threadripper, даже подержанный, у вас не возникнет ни одного из этих узких мест. Вы без проблем сможете установить несколько видеокарт, и у многих из них также есть 8 слотов для оперативной памяти (хотя им может потребоваться оперативная память ECC).
Я собрал свой ПК, потому что мне нужен был новый, а также я хотел заниматься ИИ, но если бы я мог вернуться в прошлое, я бы, возможно, купил Threadripper, даже подержанный на eBay. Надеюсь, это поможет.
Примечание: Я не могу говорить за Xeon или Epyc, но предполагаю, что мой отзыв применим ко всем этим процессорам.
*
На eBay есть старые серверы с объемом оперативной памяти от 256 ГБ до 1 ТБ. Думаю, проблема в том, что старые процессоры Xeon намного медленнее, чем Threadripper. Не уверен, сможет ли дополнительная оперативная память это компенсировать.
В идеале я бы собрал процессор Threadripper с 256 ГБ оперативной памяти и парой видеокарт 3090 (или лучше). Однако, судя по всему, установить 256 ГБ оперативной памяти на AM5 невозможно.
*
Я бы выбрал Threadripper/Xeon/EPYC исключительно из-за возможности более удобной работы с несколькими видеокартами. Возможность резервного использования большего объема оперативной памяти — это плюс, но, очевидно, менее ценный, если система старая и медленная.
*
Моя материнская плата AM5 (Gigabyte) заявляет о поддержке 256 ГБ, но кто знает. Планшетов DDR5 на 64 ГБ ещё даже не существует.
*
В этом-то и проблема — нет модулей DDR5 на 64 ГБ. Если бы они существовали, я бы, наверное, прямо сейчас выбрал этот путь, ха-ха. Но не забывайте также, что AMD Strix и Project Digits тоже проявляют интерес.
*
Если вам нужны только линии PCIe, то просто возьмите EPYC, он намного дешевле, и вы все равно получите 128 линий.
*
Именно поэтому я выбрал процессор Threadripper 7960x, две видеокарты 4090 и 256 ГБ оперативной памяти ECC. На сборку я уже потратил около 9 тысяч долларов. Жду только доставку блока питания, чтобы посмотреть, как всё пойдёт!
*
Да, это здорово, но для меня немного дороговато! Моя сборка с 9950x и одной 3090 обошлась мне в 1700 долларов, и я хотя бы попробую запустить вторую видеокарту и посмотрю, насколько это реально. Если я всерьез этим займусь, то перейду на Threadripper.
*
Держите нас в курсе, мы идём тем же путём, но с 7900xtx, молимся, чтобы на выставке появился новый драйвер, который сделает её просто божественной.
*
Только что получил блок питания и сейчас настраиваю ОС, возникли проблемы с SSH и XRDP, но как только мы их решим, займемся настройкой PyTorch и некоторыми другими полезными компонентами.
*
Я рассматриваю такую ??же конфигурацию, как у автора вопроса, поскольку хочу использовать её и для игр. Откуда вы взяли информацию о значительном снижении производительности при установке 256 ГБ оперативной памяти в 4 слота DIMM? Хотелось бы узнать об этом подробнее, потому что у меня был именно такой план.
*
Я это прочитал на Reddit. Не знаю подробностей, но, например, у меня оперативная память работает на частоте 6000 МГц, и я слышал, что нужно очень сильно повезти, чтобы разогнать её до 5000 МГц с четырьмя модулями памяти.
*
Совершенно дилетантский вопрос — какой минимальный объем оборудования необходим для работы с такой мощной операционной системой, как Windows 4.0, для написания текстов/ролевых игр, периодического перевода, составления резюме PDF-файлов и тому подобного?
*
Разве видеокарта Nvidia с поддержкой CUDA не будет лучше? Или это уже не имеет большого значения?
*
Вы хотите сказать, что EVGA GeForce RTX 3090 FTW3 ULTRA 24 ГБ не поддерживает CUDA? ROCm для видеокарт AMD работает нормально в Linux.
*
Вы используете Linux на этом оборудовании? Если вы изучали информацию об операционной системе, пожалуйста, поделитесь ею.
*
Proxmox. По сути, это альтернатива VMware для домашних лабораторий, позволяющая запускать несколько операционных систем одновременно. Например, я могу запустить виртуальную машину Linux на одной видеокарте, занимаясь задачами искусственного интеллекта, а на другой — играть в игры в виртуальной машине Windows.
А когда я не играю, я могу выделить обе видеокарты для работы с ИИ или открыть доступ к серверу для облачных игр, чтобы друзья могли им пользоваться?
*
Спасибо за информацию. Я планирую установить сервер для запуска моделей LLM и, возможно, даже для работы в области машинного обучения (в основном, обучения/тренировки). Просто любопытно, почему вы выбрали серверный уровень, а не потребительский? Это соотношение цены и качества? Также интересует энергопотребление!
*
Может, лучше подождать Mac Studio с процессором M4 Ultra? — огромный объем унифицированной памяти, питающий эффективные ядра графического процессора, практически окупит себя за счет экономии на электроэнергии. В долгосрочной перспективе общая стоимость владения может оказаться ниже.
*
Если ваша главная цель — искусственный интеллект, разве не лучше было бы подождать появления видеокарты Nvidia?
*
На самом деле, я думаю, что сейчас самое время подождать. Вероятно, в ближайшие пару лет мы увидим гораздо больше кастомных SoC с улучшенной поддержкой ИИ, которые будут на порядок эффективнее.
Полезно экспериментировать с новыми технологиями, но на данный момент, я думаю, имеет смысл запускать скромные модели с 8-24 параметрами на более дешевом компьютере.
*
Ха-ха, "бюджетная" сборка с новым процессором и видеокартой 5090, возможно, начинает бросать вызов нынешнему определению "бюджетного ПК", но, тем не менее, это отличное начало.
На первый взгляд, думать о процессоре может показаться нелогичным, но это существенно повлияет на возможность добавления дополнительных видеокарт в будущем.
Использование потребительской платформы, такой как AMD 9950X3D, отлично подходит для оптимальной производительности одного ядра, однако у неё будет ограниченное количество линий PCIe. Скорее всего, будет только один «настоящий» слот PCIe x 5.0, работающий на 16 линиях x16 для видеокарты, и как только вы добавите дополнительные видеокарты, количество линий, вероятно, снизится до 8 или 4 (что не идеально). Некоторые материнские платы также могут испытывать трудности с обеспечением питания каждой видеокарты (всего 70 Вт на слот от материнской платы).
В некоторых случаях серверная материнская плата для Epyc будет стоить примерно столько же, но вы потратите больше денег на саму плату (вероятно, 700-1000 долларов за что-то похожее на Asrock RomeD8-2T), зато у вас будет значительно больше вариантов быстрых и недорогих процессоров, таких как AMD Epyc 7502P. Однако вам потребуется гораздо более дорогая серверная оперативная память. Тем не менее, серверная материнская плата такого типа может вместить до 8 видеокарт, если вы решите расширить систему в будущем, при этом значительно улучшив качество и долговечность (при условии, что вы готовы приобрести как минимум два дополнительных блока питания).
Интересно, какое решение вы приняли!
Лама создает ИИ
*
Для бюджетной сборки я бы выбрал материнскую плату Intel Arc Pro B60.
Кстати о вакансиях: Сейчас наблюдается «кризис джунов» — базовые задачи по написанию простого кода и тестов всё чаще забирает ИИ. Зато спрос на Middle+ и Senior специалистов, способных архитектурно связать ИИ-агентов, облака и т.д. и т.п. рост колоссальный...
