Türkiye Resmi Gigabyte Enterprise Distribütörü | NVidia Compute Partner
Türkiye Resmi Gigabyte Enterprise Distribütörü | NVidia Compute Partner
Yapay zeka ve yüksek performanslı bilgi işlem iş yüklerini hızlandırın.
Üretken Yapay Zeka ve Yüksek Performanslı Hesaplama için Süper GPU
NVIDIA H200 GPU, çığır açan performans ve bellek yetenekleriyle üretken yapay zeka ve yüksek performanslı hesaplama (HPC) iş yüklerini hızlandırıyor. HBM3E’ye sahip ilk GPU olan H200’ün daha büyük ve daha hızlı belleği, üretken yapay zeka ve büyük dil modellerinin (LLM) hızlandırılmasını sağlarken, HPC iş yükleri için bilimsel hesaplamayı da geliştiriyor.
• Kurumsal sınıf donanım platformu
• Yüksek performanslı işlemci desteği
• Uzun süreli kullanım için tasarlanmış
• Proje bazlı konfigürasyon imkanı
| H200 SXM¹ | H200 NVL¹ | |
| FP64 | 34 TFLOPS | 30 TFLOPS |
| FP64 Tensor Core | 67 TFLOPS | 60 TFLOPS |
| FP32 | 67 TFLOPS | 60 TFLOPS |
| TF32 Tensor Core² | 989 TFLOPS | 835 TFLOPS |
| BFLOAT16 Tensor Core² | 1,979 TFLOPS | 1,671 TFLOPS |
| FP16 Tensor Core² | 1,979 TFLOPS | 1,671 TFLOPS |
| FP8 Tensor Core² | 3,958 TFLOPS | 3,341 TFLOPS |
| INT8 Tensor Core² | 3,958 TFLOPS | 3,341 TFLOPS |
| GPU Memory | 141GB | 141GB |
| GPU Memory Bandwidth | 4.8TB/s | 4.8TB/s |
| Decoders | 7 NVDEC 7 JPEG | 7 NVDEC 7 JPEG |
| Confidential Computing | Supported | Supported |
| Max Thermal Design Power (TDP) | Up to 700W (configurable) | Up to 600W (configurable) |
| Multi-Instance GPUs | Up to 7 MIGs @18GB each | Up to 7 MIGs @16.5GB each |
| Form Factor | SXM | PCIe Dual-slot air-cooled |
| Interconnect | NVIDIA NVLink™: 900GB/s PCIe Gen5: 128GB/s | 2- or 4-way NVIDIA NVLink bridge: 900GB/s per GPU PCIe Gen5: 128GB/s |
| Server Options | NVIDIA HGX™ H200 partner and NVIDIA-Certified Systems™ with 4 or 8 GPUs | NVIDIA MGX™ H200 NVL partner and NVIDIA-Certified Systems with up to 8 GPUs |
| NVIDIA AI Enterprise | Add-on | Included |
1 Preliminary specifications. May be subject to change. | ||
1.9X Kat Daha Hızlı
1.6X Kat Daha Hızlı
110X Kat Daha Hızlı
NVIDIA Hopper™ mimarisine dayanan NVIDIA H200, saniyede 4,8 terabayt (TB/s) hızında 141 gigabayt (GB) HBM3e bellek sunan ilk GPU’dur; bu, NVIDIA H100 GPU’nun kapasitesinin neredeyse iki katı ve bellek bant genişliğinin 1,4 katıdır. H200’ün daha büyük ve daha hızlı belleği, üretken yapay zekayı ve doğrusal bellek modellerini hızlandırırken, daha iyi enerji verimliliği ve daha düşük toplam sahip olma maliyetiyle yüksek performanslı bilgi işlem (HPC) iş yükleri için bilimsel hesaplamayı geliştirir.
Sürekli gelişen yapay zeka ortamında, işletmeler çeşitli çıkarım ihtiyaçlarını karşılamak için LLM’lere (Latent Learning Models – Öğrenme Tabanlı Modeller) güvenmektedir. Bir yapay zeka çıkarım hızlandırıcısı, büyük bir kullanıcı tabanı için ölçeklendirildiğinde en düşük toplam sahip olma maliyetiyle en yüksek verimi sağlamalıdır.
H200, Llama2 gibi LLM’leri işlerken H100 GPU’lara kıyasla çıkarım hızını 2 katına kadar artırır.
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.
Yüksek performanslı bilgi işlem (HPC) uygulamaları için bellek bant genişliği çok önemlidir çünkü daha hızlı veri aktarımını sağlayarak karmaşık işlem darboğazlarını azaltır. Simülasyonlar, bilimsel araştırmalar ve yapay zeka gibi bellek yoğun HPC uygulamaları için H200’ün daha yüksek bellek bant genişliği, verilere verimli bir şekilde erişilebilmesini ve işlenebilmesini sağlayarak, CPU’lara kıyasla sonuçlara ulaşma süresini 110 kata kadar hızlandırır.
Preliminary specifications. May be subject to change.
HPC MILC- dataset NERSC Apex Medium | HGX H200 4-GPU | dual Sapphire Rapids 8480
HPC Apps- CP2K: dataset H2O-32-RI-dRPA-96points | GROMACS: dataset STMV | ICON: dataset r2b5 | MILC: dataset NERSC Apex Medium | Chroma: dataset HMC Medium | Quantum Espresso: dataset AUSURF112 | 1x H100 SXM | 1x H200 SXM.
H200’ün piyasaya sürülmesiyle enerji verimliliği ve toplam sahip olma maliyeti (TCO) yeni seviyelere ulaşıyor. Bu son teknoloji, H100 ile aynı güç profili içinde benzersiz bir performans sunuyor. Sadece daha hızlı değil, aynı zamanda daha çevre dostu olan yapay zeka fabrikaları ve süper bilgisayar sistemleri, yapay zeka ve bilim topluluğunu ileriye taşıyan ekonomik bir avantaj sağlıyor.
Preliminary specifications. May be subject to change.
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32
NVIDIA H200 NVL, esnek yapılandırmalar gerektiren düşük güç tüketimli, hava soğutmalı kurumsal raf tasarımları için idealdir ve boyutundan bağımsız olarak her türlü yapay zeka ve yüksek performanslı bilgi işlem (HPC) iş yükü için hızlandırma sağlar. NVIDIA NVLink™ ile bağlanan dört adede kadar GPU ve 1,5 kat artırılmış bellek ile, büyük dil modeli (LLM) çıkarımı 1,7 kata kadar hızlandırılabilir ve HPC uygulamaları H100 NVL’ye kıyasla 1,3 kata kadar daha fazla performans elde edebilir.
NVIDIA H200 NVL, beş yıllık NVIDIA Kurumsal aboneliğiyle birlikte gelir. Bu abonelik, kurumsal yapay zekaya hazır bir platform oluşturma şeklinizi basitleştirmek için NVIDIA AI Enterprise’ı içerir. H200, bilgisayar görüşü, konuşma yapay zekası, geri alma artırılmış üretim (RAG) ve daha fazlasını içeren üretime hazır üretken yapay zeka çözümleri için yapay zeka geliştirme ve dağıtımını hızlandırır. NVIDIA AI Enterprise, kurumsal üretken yapay zeka dağıtımını hızlandırmak için tasarlanmış, kullanımı kolay bir mikro hizmetler kümesi olan NVIDIA NIM™’i içerir. Birlikte, dağıtımlar kurumsal düzeyde güvenlik, yönetilebilirlik, istikrar ve desteğe sahiptir. Bu, daha hızlı iş değeri ve eyleme geçirilebilir içgörüler sağlayan performans optimize edilmiş yapay zeka çözümleriyle sonuçlanır.
