Meta 生成式人工智能工程总监谢尔盖・埃杜诺夫近日在硅谷数字工人论坛上分享了他对人工智能推理需求的预测。他认为,明年全球新增的人工智能应用推理需求,如果使用合理规模的语言模型,仅需两座核电站的发电量就可以满足。
研究公司SemiAnalysis表示,OpenAI公司需要3617台英伟达的HGX A100服务器,总共28936个图形处理单元(GPU)来支持ChatGPT,这意味着每天的能源需求就要达到564兆瓦时,这要比训练阶段的能源需求高得多。