Peneliti Harvard memecahkan keterbatasan infrastruktur dengan bantuan IBM
Di garis depan penelitian AI yang bertanggung jawab, Calmon Lab di Harvard John A. Paulson School of Engineering and Applied Sciences menangani salah satu tantangan paling mendesak dalam AI. Mereka mencoba menyelaraskan model bahasa besar (LLM) dengan nilai-nilai kemanusiaan dan standar keselamatan. Pekerjaan mereka berfokus pada peningkatan kinerja penalaran rantai pemikiran (CoT) dalam model yang umum digunakan, seperti Deepseek-R1 dan Llama, dengan menerapkan metode penyelarasan waktu kesimpulan.
Namun, kemajuan mereka terhambat oleh keterbatasan infrastruktur. Klaster Harvard kewalahan memenuhi permintaan, dan menjalankan model-model mutakhir membutuhkan akses ke beberapa GPU NVIDIA H100. Penundaan ini secara signifikan membatasi kemampuan mereka untuk bereksperimen secara efisien pada model-model besar, sehingga memperlambat laju penelitian mereka secara keseluruhan.
Jalankan inferensi dengan kecepatan melebihi 2.000 token per detik
Melatih dan menerapkan LLM tanpa waktu tunggu
Untuk mengatasi kendala infrastruktur ini, Calmon Lab bermitra dengan IBM. Menggunakan IBM Cloud, mereka menyediakan dua server NVIDIA HGX H100 8-GPU, dalam cloud pribadi virtual yang aman (VPC), masing-masing server dilengkapi dengan memori GPU 640 GB 2 TB memori fisik. Pengaturannya termasuk penyimpanan blok operasi input/output tinggi per detik (IOPS), berbagi file jaringan cepat dan IBM Cloud Object Storage untuk transfer data yang lancar.
Dengan Red Hat Enterprise Linux 9, platform Anaconda dan virtual large language model (vLLM) untuk penyajian model, lab dengan cepat beralih ke lingkungan berkinerja tinggi. Dalam seminggu, tim menjalankan inferensi lebih dari 2.000 token per detik dan model pelatihan tanpa penundaan. Transformasi ini memberdayakan mereka untuk mengeksplorasi batas-batas baru dalam keamanan AI, termasuk mengidentifikasi jalur penalaran yang tidak produktif dan menyempurnakan teknik penyelarasan model.
Setelah transformasi, Calmon Lab mengalami peningkatan substansial dalam kecepatan penelitian yang dihasilkan dari akses ke infrastruktur GPU yang andal dan mudah digunakan di IBM Cloud. Mereka mampu:
- Melatih dan menerapkan LLM, seperti DeepSeek dan Llama, sesuai permintaan, tanpa waktu tunggu.
- Menjalankan kesimpulan dengan kecepatan melebihi 2.000 token per detik.
- Berkolaborasi dalam skala besar dengan penyimpanan bersama dan transfer data berkecepatan tinggi.
- Mencapai terobosan penelitian baru dalam multiplisitas model dan keamanan AI.
IBM melanjutkan untuk mendukung misi lab dengan menyediakan infrastruktur yang dapat diskalakan, aman, dan berkinerja tinggi, memberdayakan para peneliti untuk mendorong batas-batas AI.
Harvard , yang berlokasi di Cambridge, Massachusetts, adalah universitas Ivy League bergengsi yang didirikan pada tahun 1636. Mereka terkenal karena keunggulan akademisi dan kontribusi luas mereka di berbagai bidang, termasuk pendidikan, penelitian, dan budaya. Harvard melayani beragam mahasiswa dan menawarkan berbagai program di 12 sekolah yang memberikan gelar. Universitas yang terhormat ini secara konsisten berada di peringkat teratas universitas-universitas terbaik di dunia, yang mencerminkan pengaruh dan sumber dayanya yang signifikan.
Legal
© Hak Cipta IBM Corporation 2025. IBM, logo IBM, Granite, watsonx.ai, watsonx.data, watsonx.governance, dan watsonx Orchestrate adalah merek dagang dari IBM Corp., terdaftar di banyak yurisdiksi di seluruh dunia.
Contoh disajikan hanya sebagai ilustrasi. Hasil aktual akan bervariasi berdasarkan konfigurasi dan kondisi klien dan, oleh karena itu, hasil yang diharapkan secara umum tidak dapat diberikan.