อีไอที่ขอบของเครือข่ายหายากที่จะหมายถึงการสรุปเท่านั้น การจัดจําหน่ายในโลกจริงโดยทั่วไปเกี่ยวข้องกับการเข้า / ออกความเร็วสูง (I / O), การปรับสัญลักษณ์สัญญาณ, และวงจรควบคุมในเวลาจริง,ซึ่งทั้งหมดถูกดําเนินการพร้อมกันภาระงานหลายฟังก์ชันเหล่านี้ต้องการการประสานงานที่แน่นและความแน่นอนสูง และนักออกแบบพบว่ายากที่จะตอบสนองความต้องการเหล่านี้โดยใช้ฮาร์ดแวร์ AI หลัก
มีปัจจัยสองประการที่ทําให้ปัญหานี้ซับซ้อนมากขึ้น อย่างแรก โมเดล AI กําลังพัฒนาอย่างรวดเร็ว ทําให้นักออกแบบใช้แพลตฟอร์มที่รองรับการอัพเดทอัลการิทึมอย่างรวดเร็วระบบขอบหลายอย่างถูกใช้ในสถานที่มากถึงสิบปีหรือมากกว่าหนทางจากแบบที่ได้รับการฝึกอบรมอย่างดีไปยังการนําระบบมาใช้และการนําไปใช้ยังคงแตกแยกอยู่นักวิทยาศาสตร์ข้อมูลใช้ PyTorch และ TensorFlowขณะที่ทีมงานจํากัดใช้โซ่เครื่องมือที่แตกต่างกันอย่างสิ้นเชิง ซึ่งสร้างความขัดแย้งระหว่างกระบวนการมอบและชะลอความเร็วในการผลิต
เพื่อแก้ไขปัญหาเหล่านี้ แพลตฟอร์มต้องสามารถรวมการประมวลผล AI ที่มีผลงานสูงกับพฤติกรรมที่กําหนดได้, I/O ที่ยืดหยุ่น และความสามารถปรับปรุงได้ในระยะยาวทั้งหมดต้องบรรลุได้ภายในช่วงการบริโภคพลังงานแบบปกติของการใช้งานขอบจํากัด.
บทความนี้เน้นเรื่องฉากการใช้งานและความต้องการที่เกี่ยวข้องที่ท้าทายผู้ออกแบบที่จะสํารวจสถาปัตยกรรม AI ขอบใหม่เปิดตัวอุปกรณ์และเครื่องมือซอฟต์แวร์ที่สามารถเขียนโปรแกรมได้ในสนามของ Altera (FPGA), และแสดงวิธีการใช้มันเพื่อตอบสนองความต้องการผลงานและพลังงานที่หลากหลายของแอพลิเคชั่นเหล่านี้.
วิวัฒนาการของ AI ขั้วต้องการนวัตกรรมสถาปัตยกรรม
ระบบขอบกําลังนําเทคโนโลยี AI ที่หลากหลายไปใช้มากขึ้น รวมถึงการเรียนรู้เครื่องจักร (ML) คลาสสิกสําหรับการตรวจพบความผิดปกติ, เครือข่ายประสาทแบบคลุม (CNN) สําหรับการรับรู้,และเครื่องแปลงแบบภาษาขนาดใหญ่ (LLM)อัลกอริทึมที่คอมพิวเตอร์เข้มข้นเหล่านี้มักอยู่ร่วมกันกับฟังก์ชันที่ไม่ต้องการ AI เช่น การประมวลผลสัญญาณ การสื่อสารทางเครือข่าย และการควบคุมในเวลาจริง
ระบบอิสระเป็นตัวอย่างที่ดี พวกเขามักต้องจับข้อมูลจากหลายรูปแบบของเซ็นเซอร์ เช่น วิดีโอ, เสียง, ราดาร์, LiDAR, และการตอบสนองการเคลื่อนไหว / ตําแหน่งการประมวลผลก่อนของกระแสข้อมูลเหล่านี้ด้วยความเร็วสูง, วิเคราะห์ผลโดยใช้ AI ที่ซับซ้อน และจากนั้นจัดการวงจรควบคุมความแม่นยําสูง ซึ่งทั้งหมดนี้ต้องการการกําหนดที่น่าเชื่อถือได้
มีตัวอย่างที่คล้ายกันมากมายในอุตสาหกรรมอัตโนมัติ การถ่ายภาพทางการแพทย์ การป้องกันและการประสานงานโทรคมนาคมความท้าทายที่เผชิญหน้ากันทั่วไปคือสถาปัตยกรรมประเพณียากที่จะปรับตัวให้กับภาระงานที่สอดคล้องกันอยู่เสมอ.
ทําไม FPGA จึงเหมาะสําหรับ AI ขอบ
ในส่วนที่ตรงกันข้าม ความต้องการเหล่านี้มีความสอดคล้องอย่างสมบูรณ์แบบกับฟังก์ชันของ FPGA. หลักของ FPGA คือการให้โลจิกที่สามารถตั้งค่าได้ เพื่อดําเนินการในรูปแบบที่ตรงกันจริง ๆด้วยพฤติกรรมเวลาของมันที่ติดตั้งอยู่ในเวลาออกแบบ แทนที่จะเปลี่ยนแปลงในเวลาทํางานสถาปัตยกรรมนี้สามารถบรรลุการกําหนดความช้าต่ํา ซึ่งเป็นสิ่งสําคัญสําหรับ AI ขอบ โลคิกยืดหยุ่นยังสามารถใช้ I/O ที่มีพลัง: FPGAs ปกติจะให้ I/O ความเร็วสูงมากมายซึ่งสามารถเชื่อมต่อกับเซ็นเซอร์และตัวขับเคลื่อนต่าง ๆ เพื่อบรรลุการเชื่อมต่ออย่างแน่นกับการประมวลผล AI.
FPGA ยังรวมถึงความจําภายในที่กระจายได้ ซึ่งทําให้ข้อมูลสามารถเข้าถึงได้โดยโลจิกที่ทํางานบนมันนี้ลดความลําบากที่เกิดขึ้นเมื่อหลายระดับการประมวลผลต้องแข่งขันเพื่อเข้าถึงแบสความจําร่วม, ซึ่งเป็นข้อจํากัดทั่วไปในสถาปัตยกรรมที่ใช้โปรเซสเซอร์
FPGAs หลายตัวยังรวมฮาร์ดแวร์การประมวลผลสัญญาณดิจิตอล (DSP) ที่เชี่ยวชาญวงจรที่พัฒนานี้ให้ผลงานที่สูงขึ้นและประสิทธิภาพพลังงานที่ดีกว่าสําหรับภาระการทํางานในการประมวลผลสัญญาณ. FPGAs บางส่วนยังบูรณาการระบบประมวลผลแบบมีสายแข็งที่สามารถทํางานซอฟต์แวร์แบบมาตรฐาน (รวมถึงลินูคัส) ทําให้การพัฒนาซอฟต์แวร์แบบดั้งเดิมสําหรับภารกิจ เช่น การเชื่อมต่อเครือข่ายการจัดการอุปกรณ์และอินเตอร์เฟซผู้ใช้
สั้น ๆ นะครับ FPGA ตัวเดียวสามารถบูรณาการฟังก์ชันที่อาจต้องการชิป I/O ที่แยกแยกกัน, เครื่องเร่ง AI, DSPs, และโปรเซสเซอร์ระนาบควบคุมลดพื้นที่แผ่นวงจร, การบริโภคพลังงานที่ต่ําลง โดยยังคงความช้าและความมั่นคงที่ต่ําที่จําเป็นสําหรับการใช้งาน AI ขอบ
วิธีเปิดโอกาสใหม่ด้วยการเพิ่มบล็อกเทนเซอร์ AI
ฮาร์ดแวร์ FPGA DSP แบบดั้งเดิมนั้นเหมาะสมกับงานด้านขอบหลายอย่างแล้ว แต่การสรุป AI มักจะพึ่งพาการประกอบการคูณที่หนาแน่น แต่มีความละเอียดต่ําอัลเทร่า Agilex 3 และ Agilex 5 เครื่องใช้ DSP ที่ปรับปรุงขึ้นด้วย AI tensor blocksนี่คือฮาร์ดแวร์ที่เชี่ยวชาญสําหรับการคูณเมทริกซ์เมทริกซ์และเมทริกซ์เวกเตอร์ ซึ่งปรากฏบ่อยครั้งในกราฟการคํานวณ AI
หลักของวิธีการนี้คือสเกลาร์ผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลผลเครื่องยนต์จุดที่เชื่อมต่อด้วยสายแข็งใช้ข้อมูลเข้า 8 บิท และน้ําหนัก 8 บิทที่ติดตั้งล่วงหน้าเพื่อดําเนินผลิตภัณฑ์จุด 10 องค์ประกอบเพื่อที่จะขยายระยะความเร็วเส้นทางข้อมูลยังสามารถใช้ "ดัชนีร่วมกัน" สําหรับการปรับขนาดบล็อคจุดลอย เพื่อรับมือกับกรณธรรมการณ์ทั่วไปที่การสรุป AI ปกติต้องการระยะทางแบบไดนามิกสูง แต่ความแม่นยําต่ํา.