ความรู้

การแยกส่วนศูนย์ข้อมูลจะแยกการประมวลผล หน่วยความจำ พื้นที่เก็บข้อมูล และเครือข่ายออกเป็นทรัพยากรที่แยกจากกันและรวมกลุ่มกัน แทนที่จะล็อกไว้ภายในขอบเขตเซิร์ฟเวอร์แบบตายตัว การแยกดังกล่าวจะสร้างการพึ่งพาทางสถาปัตยกรรมแบบใหม่: เลเยอร์การเชื่อมต่อระหว่างพูลเหล่านั้นจะต้องส่งมอบแบนด์วิธที่เพียงพอ เวลาแฝงที่ต่ำเพียงพอ และการเข้าถึงที่เพียงพอเพื่อทำให้ทั้งระบบทำงานเป็นแฟบริคที่มีการประสานงานกัน การเชื่อมต่อระหว่างกันด้วยแสงเป็นเทคโนโลยีการขนส่งที่เติมเต็มบทบาทนั้น - มากขึ้น โดยเฉพาะอย่างยิ่งเมื่อการเชื่อมต่อทองแดงมีขีดจำกัดทางกายภาพในด้านระยะทาง พลังงาน และความสมบูรณ์ของสัญญาณ

บทความนี้จะอธิบายว่าการเชื่อมต่อระหว่างกันแบบออปติกสนับสนุนสถาปัตยกรรมแบบแยกส่วนอย่างไร โดยที่การเชื่อมต่อมีประสิทธิภาพเหนือกว่าทองแดง เกี่ยวข้องกับ CXL และออพติกแบบแพ็คเกจร่วม-อย่างไร และเมื่อใดจึงสมเหตุสมผลที่จะนำไปใช้

การแยกส่วนศูนย์ข้อมูลคืออะไร?

ในเซิร์ฟเวอร์แบบเดิม-โมเดลศูนย์กลาง CPU, หน่วยความจำ, ที่เก็บข้อมูล และเครือข่ายจะรวมอยู่ในแชสซีเดียว คุณซื้อเซิร์ฟเวอร์ และคุณจะได้รับอัตราส่วนคงที่ของทั้งสี่ - ไม่ว่าปริมาณงานของคุณต้องการอัตราส่วนนั้นหรือไม่ก็ตาม การแยกส่วนศูนย์ข้อมูลทำให้กลุ่มนั้นแตกออกจากกัน ทรัพยากรแต่ละประเภทได้รับการจัดระเบียบเป็นพูลของตัวเอง และปริมาณงานจะดึงเฉพาะสิ่งที่ต้องการจากแต่ละพูลบนแฟบริคที่ใช้ร่วมกัน

เรื่องนี้สำคัญเนื่องจากปริมาณงานสมัยใหม่ไม่ค่อยมีความสมดุล งานฝึกอบรมโมเดลภาษาขนาดใหญ่อาจทำให้หน่วยความจำ GPU และแบนด์วิดท์ฝั่งตะวันออก-เต็มอิ่มโดยแทบไม่กระทบกับที่เก็บข้อมูลในตัวเครื่อง ไปป์ไลน์การวิเคราะห์แบบเรียลไทม์-อาจต้องใช้ความจุหน่วยความจำจำนวนมาก แต่มีการประมวลผลในระดับปานกลางเท่านั้น ในการออกแบบที่เน้นเซิร์ฟเวอร์- ความไม่ตรงกันนั้นนำไปสู่การติดขัดของทรัพยากร: วงจรของ CPU ที่ไม่ได้ใช้งานซึ่งอยู่ข้างๆ หน่วยความจำที่หมด หรือความจุของพื้นที่เก็บข้อมูลที่ไม่มีภาระงานใช้งานอยู่

ที่เปิดโครงการคอมพิวเตอร์ (OCP)ได้ขับเคลื่อนการออกแบบแร็คแบบแยกส่วนมาตั้งแต่กลางปี ​​2010 และไฮเปอร์สเกลเซอร์อย่าง Meta และ Microsoft ได้ปรับใช้พื้นที่เก็บข้อมูลและเครือข่ายแบบแยกส่วนในวงกว้าง การเกิดขึ้นของลิงก์ประมวลผลด่วน (CXL)ได้ขยายวิสัยทัศน์ดังกล่าวไปสู่การแยกส่วนหน่วยความจำ ทำให้สถาปัตยกรรมใช้งานได้จริงมากขึ้นสำหรับสภาพแวดล้อมที่กว้างขึ้น

ทำไมเซิร์ฟเวอร์แบบดั้งเดิม-การออกแบบที่เน้นศูนย์กลางจึงถึงอุปสรรค

กองกำลังสองฝ่ายกำลังผลักดันทีมโครงสร้างพื้นฐานไปสู่การแยกส่วน: ความกดดันในการใช้งานและความกดดันด้านแบนด์วิธ

ในด้านการใช้งาน ชุดเซิร์ฟเวอร์แบบคงที่จะสร้างของเสียในวงกว้าง การวิจัยในอุตสาหกรรมระบุว่าประมาณ 25% ของความจุ DRAM ในเซิร์ฟเวอร์ทั่วไปนั้นไม่ได้ใช้งานโดยเฉลี่ย แม้ว่าหน่วยความจำจะคิดเป็นเกือบครึ่งหนึ่งของต้นทุนเซิร์ฟเวอร์ทั้งหมดก็ตาม เมื่อคูณโหนดหลายพันโหนด ความจุที่ค้างอยู่นั้นแสดงถึงต้นทุนและภาระด้านพลังงานที่สำคัญ

ในด้านแบนด์วิดท์ คลัสเตอร์การฝึกอบรม AI และการวิเคราะห์ประสิทธิภาพสูง-จะสร้างรูปแบบการรับส่งข้อมูลที่แตกต่างอย่างมากจากปริมาณการให้บริการเว็บเหนือ-ใต้แบบดั้งเดิม- ปริมาณงานเหล่านี้ทำให้เกิดการรับส่งข้อมูลทางตะวันออก-ทางตะวันตก - GPU- ไปยัง -GPU, ตัวเร่งความเร็ว-ไปยัง-หน่วยความจำ และโหนด-ไปยัง-โหนด - ในจุดสิ้นสุดนับร้อยหรือนับพัน โทโพโลยีเซิร์ฟเวอร์แบบเดิม-ที่มีการทำงานแบบทองแดงสั้นระหว่างกล่องคงที่ไม่ได้ออกแบบมาสำหรับรูปแบบนั้น เนื่องจากความเร็วในการเชื่อมต่อเพิ่มขึ้นจาก 400G เป็น 800G และมากกว่านั้น ข้อจำกัดทางไฟฟ้าของทองแดงจึงยากต่อการออกแบบ

การเชื่อมต่อระหว่างกันด้วยแสงทำงานอย่างไรในศูนย์ข้อมูลแบบแยกส่วน

เมื่อทรัพยากรการประมวลผล หน่วยความจำ และตัวเร่งความเร็วแยกจากกัน โครงสร้างที่เชื่อมต่อพูลเหล่านั้นจะกลายเป็นเลเยอร์ประสิทธิภาพ-ที่สำคัญ การเชื่อมต่อระหว่างกันด้วยแสงทำหน้าที่ในชั้นนั้นโดยการแปลงสัญญาณไฟฟ้าให้เป็นแสงและส่งข้อมูลไปโหมดเดี่ยว-หรือมัลติไฟเบอร์และแปลงกลับเป็นไฟฟ้าที่ส่วนรับ

ฟิสิกส์ของการขนส่งด้วยแสงทำให้ได้เปรียบเชิงโครงสร้างสำหรับงานนี้ สัญญาณแสงในไฟเบอร์จะมีการลดทอนต่อเมตรน้อยกว่าสัญญาณไฟฟ้าในทองแดงมาก ซึ่งหมายความว่าการเชื่อมต่อแบบออปติคัลสามารถรักษาคุณภาพสัญญาณในระยะทางที่ไกลกว่าได้ โดยไม่ต้อง-ปรับสภาพสัญญาณที่ต้องใช้กำลังมาก (รีไทม์เมอร์, DSP, อีควอไลเซอร์) ที่ทองแดงต้องการที่ความเร็วที่สูงกว่า ที่ 800 Gbps ทองแดงแบบพาสซีฟใช้งานได้สูงถึงประมาณ 3–5 เมตร สายไฟที่ใช้งานอยู่ยาวได้ถึง 7 เมตร ลิงก์แบบออปติคัลมีระยะตั้งแต่ 100 เมตรถึง 2 กิโลเมตรเป็นประจำด้วยอัตราข้อมูลเดียวกัน และเลนส์ที่เชื่อมโยงกันสามารถเข้าถึงได้หลายสิบกิโลเมตร

ในสถาปัตยกรรมแบบแยกส่วน ความได้เปรียบในการเข้าถึงนี้ไม่ใช่นามธรรม โดยจะกำหนดโดยตรงว่าพูลทรัพยากรสามารถอยู่ได้ไกลแค่ไหนในขณะที่ยังคงทำงานเหมือนกับระบบที่เป็นหนึ่งเดียว โดยเฉพาะ:

• ภายในชั้นวาง:ทองแดงยังคงครองอำนาจสำหรับการเชื่อมต่อที่สั้นมาก - เซิร์ฟเวอร์-ไปยัง-ด้านบน-ของ-สวิตช์แร็ค, GPU-ไปยัง-GPU ภายในถาด ที่ระยะทางไม่เกิน 2–3 เมตร ทองแดงจะง่ายกว่า ราคาถูกกว่า และ-เวลาแฝงต่ำกว่า
• ชั้นวาง-ถึง-ชั้นวาง (2–100 ม.):นี่คือจุดที่การเชื่อมต่อระหว่างกันแบบออปติกกลายเป็นค่าเริ่มต้นในทางปฏิบัติที่ 400G ขึ้นไป การเชื่อมต่อแร็คคอมพิวเตอร์เข้ากับพูลหน่วยความจำในแร็คที่อยู่ติดกัน หรือการลิงก์ถาด GPU ข้ามแถว โดยทั่วไปต้องใช้ความหนาแน่นของแบนด์วิธและเข้าถึงไฟเบอร์ที่มีให้ชุดสายเคเบิลใยแก้วนำแสงและการเชื่อมต่อ MPO/MTPเป็นมาตรฐานสำหรับเส้นทางเหล่านี้
• ห้อง-ถึง-ห้องและอาคาร-ถึง-อาคาร (100 ม.–10+ กม.):เฉพาะการขนส่งทางแสงเท่านั้นที่สามารถทำได้ในระยะทางและความเร็วเหล่านี้ ขอบเขตนี้มีความสำคัญสำหรับ-การแบ่งขนาดตามขนาดวิทยาเขต โดยที่แหล่งเก็บข้อมูล การประมวลผลสำรอง หรือ-ทรัพยากรการกู้คืนจากภัยพิบัติตั้งอยู่ในอาคารที่แยกจากกัน

การเชื่อมต่อระหว่างกันด้วยแสงกับทองแดงในศูนย์ข้อมูลแบบแยกส่วน

ตัวเลือกระหว่างออปติคัลและทองแดงไม่ใช่ไบนารี - ขึ้นอยู่กับขอบเขต- ต่อไปนี้คือวิธีเปรียบเทียบทั้งสองปัจจัยที่สำคัญที่สุดในการออกแบบแบบแยกส่วน:

สิ่งสำคัญที่นำไปใช้ได้จริง: ใช้ทองแดงโดยที่ความเรียบง่ายในระยะใกล้-ยังคงได้ผล ใช้ออปติคัลโดยที่การเข้าถึง ความหนาแน่นของแบนด์วิธ ประสิทธิภาพการใช้พลังงาน หรือการจัดการสายเคเบิลกลายเป็นข้อจำกัดในการผูกมัด ในสภาพแวดล้อมแบบแยกส่วน ส่วนแบ่งออปติคอลของการเชื่อมต่อระหว่างกันทั้งหมดจะเพิ่มขึ้นเนื่องจากตัวสถาปัตยกรรมเองสร้างเส้นทางแบนด์วิธที่ยาวกว่าและสูงกว่า-ระหว่างกลุ่มทรัพยากรที่แยกจากกัน สำหรับการเปรียบเทียบประเภทสื่อเชิงลึก โปรดดูที่สายไฟเบอร์ออปติกกับสายทองแดง: อันไหนที่เหมาะกับการใช้งานของคุณ.

ประโยชน์หลักของการเชื่อมต่อระหว่างกันแบบออปติคัลสำหรับการแยกส่วน

ความหนาแน่นของแบนด์วิธที่สูงขึ้นสำหรับพูลทรัพยากรที่แยกจากกัน

การแยกส่วนจะเพิ่มปริมาณการรับส่งข้อมูลข้ามเลเยอร์การเชื่อมต่อถึงกัน เนื่องจากทรัพยากรที่ครั้งหนึ่งเคย{0}}อยู่ร่วมกันตอนนี้สื่อสารกันผ่านแฟบริค ใยแก้วนำแสงรองรับความต้องการดังกล่าวด้วยแบนด์วิดธ์ต่อ-ไฟเบอร์ที่สูงขึ้นและมีเส้นใยต่อสายเคเบิลมากขึ้น ตัวเดียวสายไฟเบอร์แบบริบบิ้นสามารถบรรทุกเส้นใยได้หลายร้อยเส้นใยในหน้าตัด-ขนาดกะทัดรัด ทำให้มีความหนาแน่นของพอร์ตตามที่คลัสเตอร์ GPU แบบแยกส่วนและพูลหน่วยความจำต้องการ

ลดภาระพลังงานและความร้อนในระดับมาก

ประสิทธิภาพการใช้พลังงานมีความสำคัญมากกว่าในการออกแบบแบบแยกส่วน เนื่องจากเลเยอร์การเชื่อมต่อระหว่างกันมีส่วนแบ่งการรับส่งข้อมูลระบบทั้งหมดมากกว่า ที่ 800G และสูงกว่า ลิงก์ทองแดงในระยะทางปานกลางต้องใช้การประมวลผล DSP ที่ใช้พลังงานสูง-ที่ปลายทั้งสองข้าง ลิงก์แบบออปติคัลที่มีความเร็วและระยะทางเท่ากันจะใช้พลังงานต่อบิตน้อยกว่า เอกสารทางเทคนิคของ NVIDIA เกี่ยวกับ-รายงานแพลตฟอร์มการสลับออปติกแบบแพ็กเกจร่วมลดการใช้พลังงานลง 3.5 เท่าเมื่อเทียบกับตัวรับส่งสัญญาณแบบเสียบได้แบบดั้งเดิม ในระดับศูนย์ข้อมูล ความแตกต่างนั้นแปลโดยตรงเป็นค่าไฟฟ้าที่ลดลงและโครงสร้างพื้นฐานการทำความเย็นที่ลดลง

การปรับขนาดแบบแยกส่วนและเป็นอิสระ

คำมั่นสัญญาหลักประการหนึ่งของการแยกส่วนคือการประมวลผล หน่วยความจำ และพื้นที่จัดเก็บข้อมูลสามารถปรับขนาดได้ในอัตราที่ต่างกัน การเชื่อมต่อระหว่างกันแบบออปติคัลสนับสนุนคำมั่นสัญญาดังกล่าว เนื่องจากการเพิ่มความจุให้กับกลุ่มทรัพยากรเดียวไม่จำเป็นต้องออกแบบแฟบริคใหม่ทั้งหมดโมดูลออปติคัลแบบเสียบได้สามารถอัพเกรดหรือเพิ่มทีละน้อย - จาก 400G เป็น 800G เป็น 1.6T - โดยไม่ต้องเปลี่ยนโรงงานเส้นใยพื้นฐาน

ความยืดหยุ่นสำหรับปริมาณงานที่ต่างกัน

เมื่อมีการรวบรวมทรัพยากรและเชื่อมต่อกันผ่านออปติกแฟบริคประสิทธิภาพสูง- ทีมโครงสร้างพื้นฐานสามารถมอบหมายทรัพยากรให้กับปริมาณงานแบบไดนามิก แทนที่จะกำหนดรูปแบบปริมาณงานตามการกำหนดค่าเซิร์ฟเวอร์คงที่ ความยืดหยุ่นนั้นมีประโยชน์อย่างยิ่งในสภาพแวดล้อมที่มีงานการฝึกอบรม AI,-การอนุมานแบบเรียลไทม์, ไปป์ไลน์การวิเคราะห์ และพื้นที่เก็บข้อมูล-แอปพลิเคชันหนักๆ อยู่ร่วมกันและแข่งขันกันเพื่อแย่งชิงทรัพยากรประเภทต่างๆ

การเชื่อมต่อระหว่างกันด้วยแสงเกี่ยวข้องกับ CXL และ Co-Packaged Optics อย่างไร

CXL: เลเยอร์โปรโตคอลสำหรับการแชร์หน่วยความจำและทรัพยากร

CXL (Compute Express Link) และการเชื่อมต่อแบบออปติคอลช่วยแก้ปัญหาส่วนต่างๆ ของการแยกส่วน CXL เป็นโปรโตคอลมาตรฐานแบบเปิด - ที่สร้างขึ้นบนเลเยอร์กายภาพ PCIe - ที่ช่วยให้แคช-มีการสื่อสารที่สอดคล้องกันระหว่าง CPU อุปกรณ์หน่วยความจำ และเครื่องเร่งความเร็ว โดยกำหนดวิธีการรวบรวมทรัพยากรที่แยกจากกันและแบ่งปันอย่างมีประสิทธิภาพในระดับซอฟต์แวร์และโปรโตคอล

CXL Consortium ซึ่งมีสมาชิก ได้แก่ Intel, AMD, NVIDIA, Samsung, Microsoft, Google และ Meta เปิดตัว CXL 3.1 ในเดือนพฤศจิกายน 2023 พร้อมการสนับสนุนอย่างชัดเจนสำหรับการสลับหลาย-และการแยกตามโครงสร้าง-เกินชั้นวาง CXL 3.0 เปิดตัวการรองรับโหนดสูงสุด 4,096 โหนดในแฟบริคที่เป็นหนึ่งเดียว ช่วยให้สามารถรวมหน่วยความจำขนาดแร็ค-และคลัสเตอร์-เข้าด้วยกันได้

การเชื่อมต่อระหว่างกันด้วยแสงคือการขนส่งทางกายภาพที่สามารถรับส่งข้อมูล CXL (และโปรโตคอลอื่น ๆ ) ระหว่างโหนดแบบกระจายเหล่านั้น ทีมที่ประเมินการรวมหน่วยความจำตาม CXL- และทีมที่ประเมินการเชื่อมต่อระหว่างกันแบบออปติกมักจะทำงานในโครงการริเริ่มการแยกส่วนเดียวกันจากมุมที่ต่างกัน - กลุ่มหนึ่งจัดการกับตรรกะการแบ่งปันโปรโตคอลและทรัพยากร- ส่วนอีกทีมหนึ่งจัดการกับการขนส่งทางกายภาพ

โค-แพ็คเกจออปติก: ดันออพติคอลเข้าใกล้ชิปมากขึ้น

Co-แพ็คเกจออปติก (CPO) ก้าวไปอีกขั้นด้วยการบูรณาการกลไกออปติคัลโดยตรงบนซับสเตรตของแพ็คเกจเดียวกันกับสวิตช์ ASIC หรือ GPU แทนที่จะอาศัยตัวรับส่งสัญญาณแบบเสียบแยกที่เชื่อมต่อผ่านรางไฟฟ้าที่แผงด้านหน้า ซึ่งจะช่วยขจัดเส้นทางไฟฟ้าที่ยาวที่สุดและกำลังไฟมากที่สุด-ในระบบ

ที่ GTC 2025 NVIDIA ได้ประกาศเปิดตัวครั้งแรกร่วม-แพลตฟอร์มการสลับโฟโตนิกส์ซิลิคอนแบบแพ็กเกจ(ควอนตัม-X Photonics และ Spectrum-X Photonics) ให้แบนด์วิดท์สูงถึง 409.6 Tb/s พร้อมพอร์ต 512 พอร์ตที่ 800 Gb/s Jensen Huang ซีอีโอของ NVIDIA ตั้งข้อสังเกตว่าการขยายขนาดเป็นล้าน GPU โดยใช้ตัวรับส่งสัญญาณแบบเสียบได้ทั่วไปจะใช้พลังงานประมาณ 180 MW ในพลังงานตัวรับส่งสัญญาณเพียงอย่างเดียว - ซึ่งเป็นตัวเลขที่ไม่ยั่งยืนที่ CPO ได้รับการออกแบบมาเพื่อจัดการ

CPO ไม่ใช่สิ่งที่ทุกทีมประเมินความจำเป็นในการปรับใช้ในปัจจุบัน โมดูลออปติคัลแบบเสียบได้ยังคงเป็นฟอร์มแฟคเตอร์ที่โดดเด่นสำหรับส่วนใหญ่ใยแก้วนำแสงของศูนย์ข้อมูลและจะดำเนินต่อไปจนถึงปลายปี 2020 เป็นอย่างน้อย แต่ CPO เป็นตัวแทนของทิศทางของแผนงานแบบออปติคัล และทีมที่วางแผนคลัสเตอร์ AI ขนาดใหญ่หรือแฟบริคที่แยกย่อย- รุ่นถัดไปควรติดตามการเจริญเติบโตอย่างใกล้ชิด

เมื่อใดที่การเชื่อมต่อแบบออปติคัลเหมาะสมที่สุด?

AI และตัวเร่งความเร็ว-สภาพแวดล้อมที่หนักหน่วง

คลัสเตอร์การฝึกอบรม AI เป็นหนึ่งในกรณีการใช้งานที่แข็งแกร่งที่สุดสำหรับการเชื่อมต่อระหว่างกันแบบออปติกในบริบทที่แยกย่อย ระบบเหล่านี้สร้างการรับส่งข้อมูลตะวันออก-ตะวันตกจำนวนมากผ่านเส้นทางหน่วยความจำ GPU- ไปยัง -GPU และ GPU- ไปยัง- เมื่อขนาดคลัสเตอร์เพิ่มขึ้นจาก GPU นับร้อยเป็นพัน ความต้องการในการเข้าถึงและแบนด์วิดท์จึงเกินกว่าที่ทองแดงสามารถรองรับได้อย่างรวดเร็ว ตัวอย่างเช่น ในสถาปัตยกรรม GB200 NVL72 ของ NVIDIA ต้นทุนเครือข่าย (รวมถึงตัวรับส่งสัญญาณแบบออปติคัล) คิดเป็น 15–18% ของต้นทุนคลัสเตอร์ทั้งหมด และตัวรับส่งสัญญาณแบบออปติคัลคิดเป็นประมาณ 60% ของต้นทุนเครือข่ายนั้น กรณีทางเศรษฐกิจและประสิทธิภาพในการปรับชั้นแสงให้เหมาะสมนั้นมีความสำคัญมาก

การรวมหน่วยความจำและโครงสร้างพื้นฐานที่ประกอบได้

หากทีมของคุณกำลังประเมินการรวมหน่วยความจำตาม CXL- เลเยอร์การขนส่งทางกายภาพจะต้องสนับสนุนการแยกนั้นโดยไม่เพิ่มเวลาแฝงที่ยอมรับไม่ได้หรือการจำกัดขนาด CXL 3.1 กำหนดเป้าหมายอย่างชัดเจนถึงการแยกส่วนแฟบริค-ที่เกินกว่าแร็ค ซึ่งหมายความว่าเส้นทางการเชื่อมต่อระหว่างกันจะขยายระยะทางที่ยาวกว่าบัสหน่วยความจำภายในเซิร์ฟเวอร์-แบบเดิม ลิงก์แบบออปติคอลเหมาะอย่างยิ่งสำหรับเส้นทางเหล่านั้น

สภาพแวดล้อมขนาดใหญ่-ที่มีความต้องการปรับขนาดไม่เท่ากัน

การเชื่อมต่อระหว่างกันแบบออปติกยังเหมาะสมกว่าเมื่อการประมวลผล หน่วยความจำ และพื้นที่จัดเก็บข้อมูลจำเป็นต้องปรับขนาดในอัตราที่ต่างกัน หากความสามารถในการประมวลผลของคุณเพิ่มขึ้น 3 เท่าต่อปี แต่พื้นที่เก็บข้อมูลเพิ่มขึ้น 1.5 เท่า สถาปัตยกรรมแบบแยกส่วนช่วยให้คุณขยายแต่ละพูลแยกจากกัน - และการเชื่อมต่อระหว่างกันแบบออปติคอลทำให้สิ่งนั้นเป็นไปได้ทางกายภาพโดยไม่ต้องออกแบบโรงงานวางสายเคเบิลใหม่ทุกครั้ง

เมื่อมันไม่สมเหตุสมผล

การเชื่อมต่อแบบออปติกไม่ใช่จุดเริ่มต้นที่เหมาะสมสำหรับทุกสภาพแวดล้อม หากศูนย์ข้อมูลของคุณมีปริมาณงาน-ตามวัตถุประสงค์ทั่วไปที่สมดุลบนเซิร์ฟเวอร์ทั่วไป และการรับส่งข้อมูลแบบแร็ค-ถึง-แร็คของคุณไม่ซับซ้อนและ-ให้บริการได้ดีโดยโครงสร้างพื้นฐานทองแดงที่มีอยู่ ต้นทุนและความซับซ้อนของออปติคอล-แฟบริคแรกอาจไม่สมเหตุสมผล ในทำนองเดียวกัน หากคุณดำเนินงานในระดับที่มีเซิร์ฟเวอร์ไม่กี่สิบเครื่องที่ตรงตามความต้องการของคุณ การแยกย่อยเองอาจทำให้เกิดความซับซ้อนในการดำเนินงานมากกว่าที่จะประหยัดได้ สถาปัตยกรรมจะได้ผลเมื่อขนาด ความแตกต่าง และความไม่สมดุลของทรัพยากรเกิดขึ้นจริงและสามารถวัดได้ - ซึ่งไม่ใช่เรื่องสมมุติ

สิ่งที่ต้องประเมินก่อนปรับใช้

1. จัดทำแผนผังคอขวดที่เกิดขึ้นจริงของคุณ

เริ่มต้นด้วยคำถามที่ชัดเจน: อะไรคือข้อจำกัดในการผูกมัด? เข้าถึงได้หรือไม่ (เส้นทางทองแดงสั้นเกินไปสำหรับเค้าโครงชั้นวางของคุณ) ความหนาแน่นของแบนด์วิธ (ปริมาณงานไม่เพียงพอต่อสายเคเบิลในการป้อนคลัสเตอร์ GPU ของคุณ) กำลังไฟ (ลิงก์ไฟฟ้าใช้กำลังไฟมากเกินไปที่ 400G+)? การใช้ทรัพยากร (เซิร์ฟเวอร์มีการจัดเตรียมมากเกินไปบนแกนหนึ่งและค้างอยู่ในอีกแกนหนึ่ง)? การเชื่อมต่อระหว่างกันแบบออปติกจะมีประโยชน์มากที่สุดเมื่อคอขวดเกิดขึ้นจริงและสามารถวัดผลได้ ไม่ใช่เมื่อถูกนำมาใช้เป็นท่าทางการปรับปรุงทั่วไป

2. ประเมินต้นทุนระบบทั้งหมด ไม่ใช่ต้นทุนสายเคเบิล

ข้อผิดพลาดทั่วไปคือการเปรียบเทียบราคาสายทองแดงกับราคาของสายทองแดงสายออปติคอลอยู่ในระหว่างการแยกตัว. การเปรียบเทียบนั้นทำให้เข้าใจผิด การเปรียบเทียบที่สำคัญประกอบด้วยการใช้พลังงาน ค่าโสหุ้ยด้านความร้อน (และต้นทุนการทำความเย็นที่สร้างขึ้น) ความหนาแน่นของพอร์ตต่อยูนิตแร็ค การเข้าถึงที่ใช้งานได้ ความยืดหยุ่นในการอัพเกรด และต้นทุนของทรัพยากรที่ค้างอยู่ในสถาปัตยกรรมที่กว้างขึ้น ในสภาพแวดล้อมแบบแยกส่วนจำนวนมากที่ 400G และสูงกว่า ต้นทุนรวมในการเป็นเจ้าของของไฟเบอร์จะต่ำกว่าทองแดงเมื่อคุณคำนึงถึงทั้งระบบ

3. ตรวจสอบความเข้ากันได้และความพร้อมในการปฏิบัติงาน

ประเมินการทดสอบสายเคเบิลใยแก้วนำแสงข้อกำหนด การทำงานร่วมกันของโมดูล เครื่องมือตรวจสอบ และความคุ้นเคยในการปฏิบัติงานของทีมคุณกับไฟเบอร์ โมดูลออปติคัลแบบเสียบได้ (OSFP, QSFP-DD) ได้รับ-มาตรฐานที่ดีและได้รับการสนับสนุนในวงกว้าง แต่ทีมปฏิบัติงานของคุณควรพอใจกับการจัดการไฟเบอร์ การทำความสะอาด และการแก้ไขปัญหา ก่อนที่คุณจะปรับใช้ในวงกว้าง ลองเริ่มต้นด้วยโดเมนนำร่องที่คุณสามารถตรวจสอบปัจจัยการปฏิบัติงานเหล่านี้ได้

4. วางแผนการมีอายุยืนยาวของโรงงานไฟเบอร์

ข้อได้เปรียบที่สำคัญประการหนึ่งของโครงสร้างพื้นฐานไฟเบอร์คือโรงงานไฟเบอร์แบบพาสซีฟ - สายเคเบิล แผงแพทช์ และทางเดิน - สามารถรองรับเทคโนโลยีตัวรับส่งสัญญาณหลายรุ่น ออกแบบอย่างดี-การเชื่อมต่อศูนย์ข้อมูลโรงงานไฟเบอร์ที่ติดตั้งในวันนี้สำหรับ 400G สามารถรองรับการอัพเกรด 800G และ 1.6T ได้โดยการเปลี่ยนตัวรับส่งสัญญาณ โดยไม่ต้องดึงสายเคเบิลใหม่ นั่นทำให้การลงทุนเริ่มแรกในด้านไฟเบอร์มีการป้องกันมากขึ้นตลอดระยะเวลาการวางแผน 10 ปี

เส้นทางการรับเลี้ยงบุตรบุญธรรมเชิงปฏิบัติ

ขั้นตอนที่ 1: ระบุโดเมนที่จำกัดหนึ่งโดเมนมองหาสถานที่ที่การเข้าถึงของทองแดง พลังงาน ความหนาแน่นของแบนด์วิดท์ หรือการกักเก็บทรัพยากรกำลังสร้างความเจ็บปวดที่วัดผลได้อยู่แล้ว นั่นอาจเป็นการขยายคลัสเตอร์ GPU ปัญหาคอขวดระหว่าง-ถึง- ในสภาพแวดล้อมการวิเคราะห์ หรือโปรแกรมนำร่องการรวมหน่วยความจำ

ขั้นตอนที่ 2: นำร่องและตรวจสอบปรับใช้การเชื่อมต่อระหว่างกันแบบออปติคอลในโดเมนนั้น วัดพฤติกรรมเวลาแฝง การดึงพลัง ความซับซ้อนในการดำเนินงาน และเศรษฐศาสตร์การขยายเทียบกับพื้นฐานที่มีอยู่ของคุณ

ขั้นตอนที่ 3: ขยายตามหลักฐานใช้ข้อมูลนำร่องเพื่อสร้างธุรกิจและกรณีทางเทคนิคเพื่อการนำไปใช้ในวงกว้าง การแยกย่อยและการโยกย้ายแบบออปติคอลไม่ค่อยได้รับการจัดการที่ดีที่สุดในฐานะโปรเจ็กต์ใหญ่-เดียว การเปิดตัวแบบเป็นขั้นตอนช่วยให้คุณเรียนรู้ ปรับเปลี่ยน และสร้างความมั่นใจในองค์กร

รายการตรวจสอบเพื่อการตัดสินใจ: การเชื่อมต่อแบบออปติกเหมาะสำหรับโครงการริเริ่มการแยกส่วนของคุณหรือไม่?

• ระยะการเชื่อมต่อระหว่างชั้นวางของคุณ-ถึง-หรือจากห้อง-ถึง- เกินกว่าการเข้าถึงจริงของทองแดงที่ความเร็วเป้าหมายของคุณหรือไม่
• คุณวางแผนที่จะปรับใช้ความเร็วลิงก์ 400G หรือสูงกว่าในระยะเวลาอันใกล้นี้หรือไม่?
• การใช้พลังงานจากการเชื่อมต่อไฟฟ้ากลายเป็นส่วนสำคัญของงบประมาณด้านพลังงานของศูนย์ข้อมูลของคุณหรือไม่?
• คุณกำลังประเมินการรวมหน่วยความจำตาม CXL- โครงสร้างพื้นฐานที่ประกอบได้ หรือการขยายคลัสเตอร์ GPU หรือไม่
• การติดทรัพยากร (คอมพิวเตอร์ หน่วยความจำ หรือพื้นที่เก็บข้อมูลที่ไม่ได้ใช้งานถูกล็อคอยู่ภายในเซิร์ฟเวอร์แบบคงที่) เป็นปัญหาต้นทุนที่วัดได้หรือไม่
• สภาพแวดล้อมของคุณจำเป็นต้องปรับขนาดการประมวลผล หน่วยความจำ และพื้นที่จัดเก็บข้อมูลในอัตราที่ต่างกันหรือไม่

หากใช้สามข้อขึ้นไป การเชื่อมต่อระหว่างกันแบบออปติกสมควรได้รับการประเมินอย่างจริงจัง โดยเป็นส่วนหนึ่งของแผนงานการแยกส่วนของคุณ

คำถามที่พบบ่อย

การเชื่อมต่อแบบออปติกในศูนย์ข้อมูลคืออะไร?

การเชื่อมต่อระหว่างกันด้วยแสงเป็นเทคโนโลยีการขนส่งที่ใช้สัญญาณแสงผ่านสายเคเบิลใยแก้วนำแสงเพื่อส่งข้อมูลระหว่างอุปกรณ์เครือข่าย เซิร์ฟเวอร์ สวิตช์ ระบบจัดเก็บข้อมูล และกลุ่มทรัพยากรภายในและระหว่างศูนย์ข้อมูล ให้แบนด์วิธที่สูงกว่า การเข้าถึงที่ยาวกว่า และพลังงานต่อบิตต่ำกว่าเมื่อเทียบกับทองแดงที่ความเร็วเทียบเท่า - ทำให้มีความสำคัญเป็นพิเศษสำหรับสถาปัตยกรรมแบบแยกส่วนและสถาปัตยกรรมที่เน้น AI-

การเชื่อมต่อระหว่างกันด้วยแสงแตกต่างจาก CXL อย่างไร

พวกมันทำงานในชั้นที่แตกต่างกัน การเชื่อมต่อระหว่างกันด้วยแสงเป็นเทคโนโลยีการขนส่งทางกายภาพ - โดยจะย้ายบิตจากจุด A ไปยังจุด B โดยใช้แสง CXL เป็นมาตรฐานโปรโตคอลที่กำหนดวิธีที่ CPU หน่วยความจำ และเครื่องเร่งความเร็วสื่อสารกันอย่างสอดคล้องกัน การเชื่อมต่อระหว่างกันแบบออปติคัลสามารถรับส่งข้อมูล CXL ได้ แต่ CXL ยังทำงานผ่านลิงก์ทางไฟฟ้าสำหรับการเชื่อมต่อ-ในระยะสั้น ทีมมักจะประเมินทั้งสองอย่างพร้อมกัน เนื่องจากการแยกส่วนจะสร้างความต้องการทั้งโปรโตคอลที่ดีกว่า (CXL) และการขนส่งทางกายภาพที่ดีขึ้น (ทัศนศาสตร์)

ทองแดงและออปติคัลสามารถอยู่ร่วมกันในศูนย์ข้อมูลแบบแยกส่วนได้หรือไม่

ใช่ และโดยทั่วไปแล้วพวกเขาก็ทำ สภาพแวดล้อมที่แยกส่วนส่วนใหญ่ใช้ทองแดงสำหรับการเชื่อมต่อภายในชั้นวางที่สั้นมาก- (ต่ำกว่า 3–5 เมตร) โดยที่ยังคงง่ายกว่าและราคาถูกกว่า และใช้ใยแก้วนำแสงสำหรับชั้นวาง-ถึง-ชั้นวาง แถว-ถึง- แถว และเส้นทางที่ยาวกว่าซึ่งข้อจำกัดในการเข้าถึง พลังงาน และความหนาแน่นของทองแดงกลายเป็นผลผูกพัน การตัดสินใจขึ้นอยู่กับขอบเขต- ไม่ใช่ทั้งหมด-หรือ-ไม่มีเลย

co-packaged optics คืออะไร และฉันจำเป็นต้องใช้ตอนนี้หรือไม่

Co-แพ็คเกจออปติก (CPO) รวมกลไกออปติคัลโดยตรงบนแพ็คเกจเดียวกันกับสวิตช์ ASIC หรือโปรเซสเซอร์ ซึ่งช่วยลดความจำเป็นในการใช้ตัวรับส่งสัญญาณแบบเสียบแยกได้ และลดการใช้พลังงานและเวลาแฝง NVIDIA และ Broadcom กำลังปรับใช้ CPO ใน-แพลตฟอร์มเครือข่าย AI รุ่นต่อไป ศูนย์ข้อมูลส่วนใหญ่ไม่ต้องการ CPO ในปัจจุบัน -โมดูลออปติคัลแบบเสียบได้ยังคงเป็นมาตรฐาน - แต่ CPO อยู่ในแผนงานสำหรับโครงสร้างพื้นฐาน AI ขนาดใหญ่- ในกรอบเวลาปี 2026–2028

เมื่อใดที่ฉันไม่ควรติดตามการแยกส่วนด้วยการเชื่อมต่อระหว่างกันแบบออปติคอล

หากปริมาณงานของคุณมีความสมดุล-ทั้งในด้านการประมวลผล หน่วยความจำ และพื้นที่เก็บข้อมูล สเกลของคุณพอประมาณ (เซิร์ฟเวอร์ไม่กี่โหล); และโครงสร้างพื้นฐานทองแดงที่มีอยู่ของคุณจะจัดการกับความต้องการแบนด์วิดท์ในปัจจุบันและในระยะใกล้-โดยไม่ต้องเครียด - ความซับซ้อนที่เพิ่มขึ้นของการแยกส่วนและการโยกย้ายแบบออปติคอลอาจไม่คุ้มกับการลงทุน เริ่มต้นด้วยปัญหาคอขวด ไม่ใช่คำศัพท์

ไฟเบอร์ประเภทใดที่ใช้ในการเชื่อมต่อแบบออปติกของศูนย์ข้อมูล

ไฟเบอร์โหมดเดี่ยว-ใช้สำหรับลิงก์ระยะไกล-และความเร็วสูงกว่า- (โดยทั่วไปจะเป็นแร็ค-ถึง-แร็คและมากกว่านั้น)มัลติไฟเบอร์เป็นเรื่องปกติสำหรับการเชื่อมต่อ-ศูนย์ข้อมูล-ภายในที่สั้นกว่าในระยะไม่กี่ร้อยเมตร ตัวเลือกขึ้นอยู่กับการเข้าถึง ความเร็ว และโปรไฟล์ต้นทุนที่ต้องการของแต่ละลิงก์