芯片推理速率較英偉達GPU后退10倍、英偉老本惟独其1/10；運止的達被诞去小大模子天去世速率接远每一秒500 tokens，碾壓ChatGPT-3.5小大約40 tokens/秒的齐新速率——短短多少天，一家名為Groq的芯片初創公司正在AI圈爆水。

Groq讀音與馬斯克的橫空谈天機器人Grok極為接远，竖坐時間卻遠遠早於後者。世躲世速其竖坐於2016年，率比定位為一家家养智能解決妄想公司。英偉

正在Groq的達被诞去創初團隊中，有8人來自僅有10人的齐新google早期TPU中间設計團隊。好比，芯片Groq創初人兼CEO Jonathan Ross設計並實現了TPU本初芯片的橫空中间元件，TPU的世躲世速研發工做中有20%皆由他实现，之後他又减进Google X快捷評估團隊，率比為google母公司Alphabet設計並孵化了新Bets。英偉

雖然團隊脫胎於googleTPU，但Groq既沒有選擇TPU這條路，也沒有看中GPU、CPU等路線。Groq選擇了一個齐新的系統路線——LPU（Language Processing Unit，語止處理單元）。

「我們（做的）不是小大模子，」Groq展现，「我們的LPU推理引擎是一種新型端到端處理單元系統，可為AI小大模子等計算稀散型應用提供最快的推理速率。」

從這裏不難看出，「速率」是Groq的產品強調的特點，而「推理」是其主挨的細分領域。

Groq也的確做到了「快」，根據Anyscale的LLMPerf排止顯示，正在Groq LPU推理引擎上運止的Llama 2 70B，輸出tokens吞吐量快了18倍，由於其余残缺雲推理供應商。

第三圆機構artificialanalysis.ai給出的測評結果也顯示，Groq的吞吐量速率稱患上上是「遙遙領先」。

為了證明自家芯片的才气，Groq還正在夷易近網發布了免費的小大模子服務，收罗三個開源小大模子，Mixtral 8×7B-32K、Llama2-70B-4K战Mistral 7B - 8K，古晨前兩個已经開放操做。

LPU旨正在克制兩個小大模子瓶頸：計算稀度战內存帶寬。據Groq介紹，正在 LLM 圆里，LPU較GPU/CPU擁有更強小大的算力，從而減少了每一個單詞的計算時間，可能更快天天去世文本序列。此外，由於消除了外部內存瓶頸，LPU推理引擎正在小大模子上的功能比GPU逾越逾越幾個數量級。

據悉，Groq芯片残缺拋開了英偉達GPU頗為倚仗的HBM與CoWoS启裝，其採用14nm製程，拆載230MB SRAM，內存帶寬達到80TB/s。算力圆里，其整型（8位）運算速率為750TOPs，浮點（16位）運算速率為188TFLOPs。

值患上看重的是，「快」是Groq芯片主挨的優點，也是其操做的SRAM最突出的強項之一。

SRAM是古晨讀寫最快的存儲設備之一，但其價格昂貴，因此僅正在要供厚道的天圆操做，好比CPU一級緩衝、两級緩衝。

華西證券指出，可用於存算一體的成去世存儲器有Nor Flash、SRAM、DRAM、RRAM、MRAM等。其中，SRAM正在速率圆里战能效好比里具备優勢，特別是正在存內邏輯技術發展起來之後，具备明顯的下能效战下细度特點。SRAM、RRAM有看成為雲端存算一體主流介質。

（來源：科創板日報）

• ·豫政问问丨医保“家庭共济”操做指北看以前！
• ·鈥滀热浜敓杈夆€濋煶涔愪細鍛ㄥ叚濂忓搷 鏋楁槶浜法鐣屾寚鎸涓浗灞变笢缃慱闈掑矝
• ·璋㈤渾閿嬫潵闈掑矝涓庨潚宀涘皬瀚氬鍖呴ズ瀛 鎾╄冻骞村落懗
• ·闈掑矝鏈変釜鈥滀功鐢绘潙鈥 鎷滃勾涓查棬浜掕禒瀛楃敾鎴愪範淇梍涓浗灞变笢缃慱闈掑矝
• ·2025年1月5日起国铁总体郑州局施止新的列车运行图 删开拆客列车41列
• ·蹇潵鎶ュ悕鈥滅瓭绔モ€濋€夋嫈锛佷笌鐧芥磱鍚屽彴鍚堝銆婇潚鑺辩摲銆媉涓浗灞变笢缃慱闈掑矝
• ·王宝强吐露从前北漂出钱过秋节 更呵护呵护目下现古的糊心
• ·鸡年探视“鸡祥物” 那些鸡您皆逝世谙吗
• ·时政微周刊丨总布告的一周（12月9日—12月15日）
• ·糖球会上秀尽活 翻版李小龙刀上倒坐
• ·同伙圈热传“黄鼠狼给鸡拜年”图 专家称真为伶鼬
• ·天呐小大宵息！“合作女侠”有身了？足抚小肚
• ·药品也有“身份证”了！河北减速降天药品遁溯码
• ·进建阻碍时｜新秋佳节，感悟总公告讲的那“三团”
• ·老物件里品青岛年味：祭祖请轴子 田舍女掀窗花
• ·范玮琪要供陈建州“尽不能离异” 原因竟是那个！