Tips
Go
(18条消息) Go语言自学系列 | golang包_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang并发编程之channel的遍历_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang并发编程之select switch_COCOgsta的博客-CSDN博客_golang select switch
(18条消息) Go语言自学系列 | golang并发编程之runtime包_COCOgsta的博客-CSDN博客_golang runtime包
(18条消息) Go语言自学系列 | golang接口值类型接收者和指针类型接收者_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang并发编程之Timer_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang方法_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang并发编程之WaitGroup实现同步_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang构造函数_COCOgsta的博客-CSDN博客_golang 构造函数
(18条消息) Go语言自学系列 | golang方法接收者类型_COCOgsta的博客-CSDN博客_golang 方法接收者
(18条消息) Go语言自学系列 | golang接口_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang接口和类型的关系_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang结构体_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang结构体_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang标准库os模块 - File文件读操作_COCOgsta的博客-CSDN博客_golang os.file
(18条消息) Go语言自学系列 | golang继承_COCOgsta的博客-CSDN博客_golang 继承
(18条消息) Go语言自学系列 | golang嵌套结构体_COCOgsta的博客-CSDN博客_golang 结构体嵌套
(18条消息) Go语言自学系列 | golang并发编程之Mutex互斥锁实现同步_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang并发变成之通道channel_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang并发编程之原子操作详解_COCOgsta的博客-CSDN博客_golang 原子操作
(18条消息) Go语言自学系列 | golang并发编程之原子变量的引入_COCOgsta的博客-CSDN博客_go 原子变量
(18条消息) Go语言自学系列 | golang并发编程之协程_COCOgsta的博客-CSDN博客_golang 协程 并发
(18条消息) Go语言自学系列 | golang接口嵌套_COCOgsta的博客-CSDN博客_golang 接口嵌套
(18条消息) Go语言自学系列 | golang包管理工具go module_COCOgsta的博客-CSDN博客_golang 包管理器
(18条消息) Go语言自学系列 | golang标准库os模块 - File文件写操作_COCOgsta的博客-CSDN博客_go os模块
(18条消息) Go语言自学系列 | golang结构体的初始化_COCOgsta的博客-CSDN博客_golang 结构体初始化
(18条消息) Go语言自学系列 | golang通过接口实现OCP设计原则_COCOgsta的博客-CSDN博客
(18条消息) Go语言自学系列 | golang标准库os包进程相关操作_COCOgsta的博客-CSDN博客_golang os包
(18条消息) Go语言自学系列 | golang标准库ioutil包_COCOgsta的博客-CSDN博客_golang ioutil
(18条消息) Go语言自学系列 | golang标准库os模块 - 文件目录相关_COCOgsta的博客-CSDN博客_go语言os库
Golang技术栈,Golang文章、教程、视频分享!
(18条消息) Go语言自学系列 | golang结构体指针_COCOgsta的博客-CSDN博客_golang 结构体指针
Ansible
太厉害了,终于有人能把Ansible讲的明明白白了,建议收藏_互联网老辛
ansible.cfg配置详解
Docker
Docker部署
linux安装docker和Docker Compose
linux 安装 docker
Docker中安装Docker遇到的问题处理
Docker常用命令
docker常用命令小结
docker 彻底卸载
Docker pull 时报错:Get https://registry-1.docker.io/v2/library/mysql: net/http: TLS handshake timeout
Docker 拉镜像无法访问 registry-x.docker.io 问题(Centos7)
docker 容器内没有权限
Linux中关闭selinux的方法是什么?
docker run 生成 docker-compose
Docker覆盖网络部署
docker pull后台拉取镜像
docker hub
Redis
Redis 集群别乱搭,这才是正确的姿势
linux_离线_redis安装
怎么实现Redis的高可用?(主从、哨兵、集群) - 雨点的名字 - 博客园
redis集群离线安装
always-show-logo yes
Redis集群搭建及原理
[ERR] Node 172.168.63.202:7001 is not empty. Either the nodealready knows other nodes (check with CLUSTER NODES) or contains some - 亲爱的不二999 - 博客园
Redis daemonize介绍
redis 下载地址
Redis的redis.conf配置注释详解(三) - 云+社区 - 腾讯云
Redis的redis.conf配置注释详解(一) - 云+社区 - 腾讯云
Redis的redis.conf配置注释详解(二) - 云+社区 - 腾讯云
Redis的redis.conf配置注释详解(四) - 云+社区 - 腾讯云
Linux
在终端连接ssh的断开关闭退出的方法
漏洞扫描 - 灰信网(软件开发博客聚合)
find 命令的参数详解
vim 编辑器搜索功能
非root安装rpm时,mockbuild does not exist
Using a SSH password instead of a key is not possible because Host Key checking
(9条消息) 安全扫描5353端口mDNS服务漏洞问题_NamiJava的博客-CSDN博客_5353端口
Linux中使用rpm命令安装rpm包
ssh-copy-id非22端口的使用方法
How To Resolve SSH Weak Key Exchange Algorithms on CentOS7 or RHEL7 - infotechys.com
Linux cp 命令
yum 下载全量依赖 rpm 包及离线安装(终极解决方案) - 叨叨软件测试 - 博客园
How To Resolve SSH Weak Key Exchange Algorithms on CentOS7 or RHEL7 - infotechys.com
RPM zlib 下载地址
运维架构网站
欢迎来到 Jinja2
/usr/local/bin/ss-server -uv -c /etc/shadowsocks-libev/config.json -f /var/run/s
ruby 安装Openssl 默认安装位置
Linux 常用命令学习 | 菜鸟教程
linux 重命名文件和文件夹
linux命令快速指南
ipvsadm
Linux 下查找日志中的关键字
Linux 切割大 log 日志
CentOS7 关于网络的设置
rsync 命令_Linux rsync 命令用法详解:远程数据同步工具
linux 可视化界面安装
[问题已处理]-执行yum卡住无响应
GCC/G++升级高版本
ELK
Docker部署ELK
ELK+kafka+filebeat+Prometheus+Grafana - SegmentFault 思否
(9条消息) Elasticsearch设置账号密码_huas_xq的博客-CSDN博客_elasticsearch设置密码
Elasticsearch 7.X 性能优化
Elasticsearch-滚动更新
Elasticsearch 的内存优化_大数据系统
Elasticsearch之yml配置文件
ES 索引为Yellow状态
Logstash:Grok filter 入门
logstash grok 多项匹配
Mysql
Mysql相关Tip
基于ShardingJDBC实现数据库读写分离 - 墨天轮
MySQL-MHA高可用方案
京东三面:我要查询千万级数据量的表,怎么操作?
OpenStack
(16条消息) openstack项目中遇到的各种问题总结 其二(云主机迁移、ceph及扩展分区)_weixin_34104341的博客-CSDN博客
OpenStack组件介绍
百度大佬OpenStack流程
openstack各组件介绍
OpenStack生产实际问题总结(一)
OpenStack Train版离线部署
使用Packstack搭建OpenStack
K8S
K8S部署
K8S 集群部署
kubeadm 重新 init 和 join-pudn.com
Kubernetes 实战总结 - 阿里云 ECS 自建 K8S 集群 Kubernetes 实战总结 - 自定义 Prometheus
【K8S实战系列-清理篇1】k8s docker 删除没用的资源
Flannel Pod Bug汇总
Java
Jdk 部署
JDK部署
java线程池ThreadPoolExecutor类使用详解 - bigfan - 博客园
ShardingJDBC实现多数据库节点分库分表 - 墨天轮
Maven Repository: Search/Browse/Explore
其他
Git在阿里,我们如何管理代码分支?
chrome F12调试网页出现Paused in debugger
体验IntelliJ IDEA的远程开发(Remote Development) - 掘金
Idea远程调试
PDF转MD
强哥分享干货
优秀开源项目集合
vercel 配合Github 搭建项目Doc门户
如何用 Github Issues 写技术博客?
Idea 2021.3 Maven 3.8.1 报错 Blocked mirror for repositories 解决
列出maven依赖
[2022-09 持续更新] 谷歌 google 镜像 / Sci-Hub 可用网址 / Github 镜像可用网址总结
阿里云ECS迁移
linux访问github
一文教你使用 Docker 启动并安装 Nacos-腾讯云开发者社区-腾讯云
Nginx
Nginx 部署
Nginx 部署安装
Nginx反向代理cookie丢失的问题_longzhoufeng的博客-CSDN博客_nginx 代理后cookie丢失
Linux 系统 Https 证书生成与Nginx配置 https
数据仓库
实时数仓
松果出行 x StarRocks:实时数仓新范式的实践之路
实时数据仓库的一些分层和分层需要处理的事情,以及数据流向
湖仓一体电商项目
湖仓一体电商项目(一):项目背景和架构介绍
湖仓一体电商项目(二):项目使用技术及版本和基础环境准备
湖仓一体电商项目(三):3万字带你从头开始搭建12个大数据项目基础组件
数仓笔记
数仓学习总结
数仓常用平台和框架
数仓学习笔记
数仓技术选型
尚硅谷教程
尚硅谷学习笔记
尚硅谷所有已知的课件资料
尚硅谷大数据项目之尚品汇(11数据质量管理V4.0)
尚硅谷大数据项目之尚品汇(10元数据管理AtlasV4.0)
尚硅谷大数据项目之尚品汇(9权限管理RangerV4.0)
尚硅谷大数据项目之尚品汇(8安全环境实战V4.0)
尚硅谷大数据项目之尚品汇(7用户认证KerberosV4.1)
尚硅谷大数据项目之尚品汇(6集群监控ZabbixV4.1)
尚硅谷大数据项目之尚品汇(5即席查询PrestoKylinV4.0)
尚硅谷大数据项目之尚品汇(4可视化报表SupersetV4.0)
尚硅谷大数据项目之尚品汇(3数据仓库系统)V4.2.0
尚硅谷大数据项目之尚品汇(2业务数据采集平台)V4.1.0
尚硅谷大数据项目之尚品汇(1用户行为采集平台)V4.1.0
数仓治理
数据中台 元数据规范
数据中台的那些 “经验与陷阱”
2万字详解数据仓库数据指标数据治理体系建设方法论
数据仓库,为什么需要分层建设和管理? | 人人都是产品经理
网易数帆数据治理演进
数仓技术
一文看懂大数据生态圈完整知识体系
阿里云—升舱 - 数据仓库升级白皮书
最全企业级数仓建设迭代版(4W字建议收藏)
基于Hue,Dolphinscheduler,HIVE分析数据仓库层级实现及项目需求案例实践分析
详解数据仓库分层架构
数据仓库技术细节
大数据平台组件介绍
总览 2016-2021 年全球机器学习、人工智能和大数据行业技术地图
Apache DolphinScheduler 3.0.0 正式版发布!
数据仓库面试题——介绍下数据仓库
数据仓库为什么要分层,各层的作用是什么
Databend v0.8 发布,基于 Rust 开发的现代化云数据仓库 - OSCHINA - 中文开源技术交流社区
数据中台
数据中台设计
大数据同步工具之 FlinkCDC/Canal/Debezium 对比
有数数据开发平台文档
Shell
Linux Shell 命令参数
shell 脚本编程
一篇教会你写 90% 的 Shell 脚本
Kibana
Kibana 查询语言(KQL)
Kibana:在 Kibana 中的四种表格制作方式
Kafka
Kafka部署
canal 动态监控 Mysql,将 binlog 日志解析后,把采集到的数据发送到 Kafka
OpenApi
OpenAPI 标准规范,了解一下?
OpenApi学术论文
贵阳市政府数据开放平台设计与实现
OpenAPI简介
开放平台:运营模式与技术架构研究综述
管理
技术部门Leader是不是一定要技术大牛担任?
华为管理体系流程介绍
DevOps
*Ops
XOps 已经成为一个流行的术语 - 它是什么?
Practical Linux DevOps
Jenkins 2.x实践指南 (翟志军)
Jenkins 2权威指南 ((美)布伦特·莱斯特(Brent Laster)
DevOps组件高可用的思路
KeepAlived
VIP + KEEPALIVED + LVS 遇到Connection Peer的问题的解决
MinIO
MinIO部署
Minio 分布式集群搭建部署
Minio 入门系列【16】Minio 分片上传文件 putObject 接口流程源码分析
MinioAPI 浅入及问题
部署 minio 兼容 aws S3 模式
超详细分布式对象存储 MinIO 实战教程
Hadoop
Hadoop 部署
Hadoop集群部署
windows 搭建 hadoop 环境(解决 HADOOP_HOME and hadoop.home.dir are unset
Hadoop 集群搭建和简单应用(参考下文)
Hadoop 启动 NameNode 报错 ERROR: Cannot set priority of namenode process 2639
jps 命令查看 DataNode 进程不见了 (hadoop3.0 亲测可用)
hadoop 报错: Operation category READ is not supported in state standby
Spark
Spark 部署
Spark 集群部署
spark 心跳超时分析 Cannot receive any reply in 120 seconds
Spark学习笔记
apache spark - Failed to find data source: parquet, when building with sbt assembly
Spark Thrift Server 架构和原理介绍
InLong
InLong 部署
Apache InLong部署文档
安装部署 - Docker 部署 - 《Apache InLong v1.2 中文文档》 - 书栈网 · BookStack
基于 Apache Flink SQL 的 InLong Sort ETL 方案解析
关于 Apache Pulsar 在 Apache InLong 接入数据
zookeeper
zookeeper 部署
使用 Docker 搭建 Zookeeper 集群
美团技术团队
StarRocks
StarRocks技术白皮书(在线版)
JuiceFS
AI 场景存储优化:云知声超算平台基于 JuiceFS 的存储实践
JuiceFS 在 Elasticsearch/ClickHouse 温冷数据存储中的实践
JuiceFS format
元数据备份和恢复 | JuiceFS Document Center
JuiceFS 元数据引擎选型指南
Apache Hudi 使用文件聚类功能 (Clustering) 解决小文件过多的问题
普罗米修斯
k8s 之 Prometheus(普罗米修斯)监控,简单梳理下 K8S 监控流程
k8s 部署 - 使用helm3部署监控prometheus(普罗米修斯),从零到有,一文搞定
k8s 部署 - 使用 helm3 部署监控 prometheus(普罗米修斯),从零到有,一文搞定
k8s 部署 - 如何完善 k8s 中 Prometheus(普罗米修斯)监控项目呢?
k8s 部署 - k8s 中 Prometheus(普罗米修斯)的大屏展示 Grafana + 监控报警
zabbix
一文带你掌握 Zabbix 监控系统
Stream Collectors
Nvidia
Nvidia API
CUDA Nvidia驱动安装
NVIDIA驱动失效简单解决方案:NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver.
ubuntu 20 CUDA12.1安装流程
nvidia开启持久化模式
nvidia-smi 开启持久化
Harbor
Harbor部署文档
Docker 爆出 it doesn't contain any IP SANs
pandoc
其他知识
大模型
COS 597G (Fall 2022): Understanding Large Language Models
如何优雅的使用各类LLM
ChatGLM3在线搜索功能升级
当ChatGLM3能用搜索引擎时
OCR神器,PDF、数学公式都能转
Stable Diffusion 动画animatediff-cli-prompt-travel
基于ERNIE Bot自定义虚拟数字人生成
pika负面提示词
开通GPT4的方式
GPT4网站
低价开通GPT Plus
大模型应用场景分享
AppAgent AutoGPT变体
机器学习
最大似然估计
权衡偏差(Bias)和方差(Variance)以最小化均方误差(Mean Squared Error, MSE)
伯努利分布
方差计算公式
均值的高斯分布估计
没有免费午餐定理
贝叶斯误差
非参数模型
最近邻回归
表示容量
最优容量
权重衰减
正则化项
Sora
Sora官方提示词
看完32篇论文,你大概就知道Sora如何炼成? |【经纬低调出品】
Sora论文
Sora 物理悖谬的几何解释
Sora 技术栈讨论
RAG垂直落地
DB-GPT与TeleChat-7B搭建相关RAG知识库
ChatWithRTX
ChatRTX安装教程
ChatWithRTX 踩坑记录
ChatWithRTX 使用其他量化模型
ChatWithRTX介绍
RAG 相关资料
英伟达—大模型结合 RAG 构建客服场景自动问答
又一大模型技术开源!有道自研RAG引擎QAnything正式开放下载
收藏!RAG入门参考资料开源大总结:RAG综述、介绍、比较、预处理、RAG Embedding等
RAG调研
解决现代RAG实际生产问题
解决现代 RAG 系统中的生产问题-II
Modular RAG and RAG Flow: Part Ⅰ
Modular RAG and RAG Flow: Part II
先进的Retriever技术来增强你的RAGs
高级RAG — 使用假设文档嵌入 (HyDE) 改进检索
提升 RAG:选择最佳嵌入和 Reranker 模型
LangGraph
增强型RAG:re-rank
LightRAG:使用 PyTorch 为 LLM 应用程序提供支持
模型训练
GPU相关资料
[教程] conda安装简明教程(基于miniconda和Windows)
PyTorch CUDA对应版本 | PyTorch
资料
李一舟课程全集
零碎资料
苹果各服共享ID
数据中心网络技术概览
华为大模型训练学习笔记
百度AIGC工程师认证考试答案(可换取工信部证书)
百度智能云生成式AI认证工程师 考试和证书查询指南
深入理解 Megatron-LM(1)基础知识
QAnything
接入QAnything的AI问答知识库,可私有化部署的企业级WIKI知识库
wsl --update失效Error code: Wsl/UpdatePackage/0x80240438的解决办法
Docker Desktop 启动docker engine一直转圈解决方法
win10开启了hyper-v,docker 启动还是报错 docker desktop windows hypervisor is not present
WSL虚拟磁盘过大,ext4迁移 Windows 中创建软链接和硬链接
WSL2切换默认的Linux子系统
Windows的WSL子系统,自动开启sshd服务
新版docker desktop设置wsl(使用windown的子系统)
WSL 开启ssh
Windows安装网易开源QAnything打造智能客服系统
芯片
国内互联网大厂自研芯片梳理
超算平台—算力供应商
Linux 磁盘扩容
Linux使用growpart工具进行磁盘热扩容(非LVM扩容方式)
关于centos7 扩容提示no tools available to resize disk with 'gpt' - o夜雨随风o - 博客园
(小插曲)neo4j配置apoc插件后检查版本发现:Unknown function ‘apoc.version‘ “EXPLAIN RETURN apoc.version()“
vfio-pci与igb_uio映射硬件资源到DPDK的流程分析
KubeVirt
vnc server配置、启动、重启与连接 - 王约翰 - 博客园
虚拟机Bug解决方案
kubevirt 如何通过CDI上传镜像文件
在 K8S 上也能跑 VM!KubeVirt 簡介與建立(部署篇) | Cloud Solutions
KubeVirt 04:容器化数据导入 – 小菜园
Python
安装 flash_attn
手把手教你在linux上安装pytorch与cuda
AI
在启智社区基于PyTorch运行国产算力卡的模型训练实验
Scaling law
免费的GPT3.5 API
AI Engineer Roadmap & Resources 🤖
模型排行
edk2
K8S删除Evicted状态的pod
-
+
首页
超算平台—算力供应商
**1.政策驱动算网能力协同进步,核心节点启动建设** 近年来,我国加快建设新型数据中心与东数西算, 驱动算网能力协同进步。 **图表**1**:**2020-2022**年我国算力网络建设相关政策梳理** | 发布日期 | 政策文件 | 机构 | 主要内容 | | ------------- | ------------------------------------------------------------ | -------------- | ------------------------------------------------------------ | | 2020 年 12 月 | 《关于加快构建全国 一 体化大数据中心协同创新体系的指导意见》 | 国家发 改委等 | 加强全国一体化大数据中心顶层设计。优化数据中心基础设施建设布局,加快实 现数据中心集约化、规模化、绿色化发展,形成 “数网”体系;加快建立完善云 资源接入和一体化调度机制,降低算力使用成本和门槛,形成 “数纽”体系。 | | 2021 年05 月 | 《全国一体化大数据中 心协同创新体系算力枢纽实施方案》 | 国家发 改委等 | 统筹围绕国家重大区域发展战略,根据能源结构、产业布局、市场发展、气候环 境等,在京津冀、长三角、粤港澳大湾区、成渝,以及贵州、内蒙古、甘肃、宁 夏等地布局建设全国一体化算力网络国家枢纽节点。国家枢纽节点之间进一步打 通网络传输通道,加快实施 “ 东数西算”工程,提升跨区域算力调度水平。 | | 2021 年07 月 | 《新型数据中心发展三年行动计划(2021- 2023 年)》 | 工业和信息化部 | 到 2023 年底,全国数据中心机架规模年均增速保持在 20%左右,平均利用率力 争提升到 60%以上,总算力超过 200 EFLOPS,高性能算力占比达到 10%。国家 枢纽节点算力规模占比超过 70%。新建大型及以上数据中心 PUE 降低到 1.3 以 下,严寒和寒冷地区力争降低到 1.25 以下。国家枢纽节点内数据中心端到端网 络单向时延原则上小于 20 毫秒。 | | 2022 年01 月 | 《 “十四五”数字经济 发展规划》 | 国务院 | 到 2025 年,数字经济迈向全面扩展期,数字经济核心产业增加值占 GDP 比重达 到 10%,数字化创新引领发展能力大幅提升,智能化水平明显增强。 | | 2022 年02 月 | 《国家发展改革委等部 门关于同意京津冀地区 启动建设全国一体化算 力网络国家枢纽节点的复函》 | 国家发 改委 | 同意在京津冀地区启动建设全国一体化算力网络国家枢纽节点,规划设立张家口 数据中心集群。充分发挥本区域在市场、技术、人才、资金等方面的优势,发展 高密度、高能效、低碳数据中心集群,提升数据供给质量,优化东西部间互联网 络和枢纽节点间直连网络。 | **资料来源:国家发改委,中国政府网,北京发改委,国盛证券研究所** **2023 年 4 月17 日**,科技部高新司在天津组织召开国家超算互联网工作启动会。会上, 科技部高新技术司负责同志表示, 科技部将通过超算互联网建设, 打造国家算力底座, 促进超算算力的一体化运营, 助力科技创新和经济社会高质量发展。按照计划, 到 2025 年底,国家超算互联网将可形成技术先进、模式创新、服务优质、生态完善的总体布局, 有效支撑原始科学创新、重大工程突破、经济高质量发展、人民高品质生活提高等目标 达成, 成为支撑数字中国建设的“高速路”。 **图表**2**:国家超算互联网工作启动会** ![img](https://yg9538.kmgy.top/202404070718397.png) **资料来源:人民网,国盛证券研究所** ***10 月 28*** 日, 国家超算互联网核心节点在河南郑州正式启动建设。在承担起国家超算互 联网运营、服务和资源调度等核心枢纽功能的同时,还将成为集供需联结、资源整合、 生态创新、产业孵化等多方服务于一身的综合服务体,致力于实现全国计算资源统筹与 调度。 ***11*** 月 ***7*** 日,上海市经济和信息化委员会等多部门近日发布关于印发《上海市推动人工 智能大模型创新发展若干措施(***2023-2025*** 年)》的通知,旨在推动大模型创新发展, 构建开放安全创新生态, 加快打造人工智能世界级产业集群。 通告提出,将实施大模型智能算力加速计划,打造市级智能算力统筹调度平台, 构建规 模化先进算力调度和供给能力。 对符合条件的智算中心, 在能耗指标等方面予以绿色通 道优先支持;加快临港、金山、松江等重点智算产业集聚区建设。加强市区联动,对 2024 年底前在沪完成智能算力部署并纳入统筹、接受调度的算力建设主体,经评估给予适当 额度的部署奖励;对租用纳入本市统筹调度的算力进行大模型研发的本市主体,经评估 按算力集群规模和成果水平给予最高 10%的租用补贴。建设市域极速智能算力承载网, 实现市域智能算力中心间 100 Gb/S 以上高速直连和毫秒级时延。 ***12*** 月 ***16*** 日,***2023*** 新一代人工智能创新生态发展大会在成都举行, 中国算力网(西部) 调度平台发布, 中国算力网西部运营中心正式成立。 中国工程院院士、鹏城实验室主任 高文表示,中国算力网西部运营中心的成立,旨在支撑四川建设算力网络并接入中国算 力网,助力打造成都人工智能算力运营新模式, 赋能人工智能产业大模型和行业应用模 型发展,服务“数字中国”、“东数西算”等重大国家战略。 **图表**3**:中国算力网西部运营中心揭牌仪式** ![img](https://yg9538.kmgy.top/202404070719417.jpeg) **资料来源:澎湃新闻,国盛证券研究所** ***12*** 月 ***20*** 日, 第二届算力网络与数字经济发展论坛上,“上海算力交易平台 ***2.0***”正式 发布, ***12*** 家企业现场被授牌接入平台节点。今年 4 月份, 基于裸金属的 1.0 版算力交易 平台发布上线, 初步形成了上海市裸金属算力资源在跨主体算力中心间合理流通态势。 为加快算力交易平台的演进升级, 国家(上海) 新型互联网交换中心持续技术创新、深 化调度层级,依托先进的算网大脑技术、可靠的“星火链网”区块链技术,打造了基于 容器的 2.0 版算力交易平台,目前已累计接入通算资源 6334.859P,超算资源 102.024P , 智算资源 1816.987P。 ![img](https://yg9538.kmgy.top/202404070717834.png![img](https://yg9538.kmgy.top/202404070717185.png)***2.*** 超算互联网: 一体化算力服务调度平台 超算互联网,是用互联网思维运营超算,将全国众多超算中心通过算力网络连接起来, 构建一体化算力服务平台,其建设重要目标就是紧密连接供需方, 通过市场化的运营和 服务体系, 实现算力资源统筹调度, 降低超算应用门槛, 并带动计算技术向更高水平发 展,推动自主核心软硬件技术深度应用,辐射带动自主可控产业生态的发展与成熟。 作为数字化时代的“电网”,算力网络有三大组成要素: 1) 计算:算力网络的核心资源; 2) 感知:对具体场景算力需求的感知及算力资源的感知; 3) 连接:将分散、异构、多层级、闲置的算力集合起来。三大要素结合在一起,赋 予算力网络功能属性和服务属性,让其能高效盘活全社会算力资源,并赋能产业 应用,实现计算的随时随地、即开即用。 从算力网络的技术架构上看,从下到上可分为基础资源层、算网调度层和算网运营层, 同时算网运维和算网安全贯穿全程。最终,算力网络会以产品或能力的形式,赋能产业 应用。 **图表**4**:算力网络三要素** ![img](https://yg9538.kmgy.top/202404070717195.png) **资料来源:艾瑞咨询,** **国盛证券研究所** ![image-20240407072036158](https://yg9538.kmgy.top/202404070720220.png) **图表**5**:算力网络架构** **资料来源:艾瑞咨询,** **国盛证券研究所** 算力网络的建设和发展过程可以分为三个阶段: 1) 泛在连接:强化算网连接属性, 形成具有包容性、互联互通的算力和网络基础资 源池。 2) 融合感知:基于对业务场景和资源池的感知体系, 形成算与网融合调度的新型运 营模式。 3) 无感调用:算力网络突破固有的物理空间限制,在端与端间建立确定性算力连接, 让用户无感、无限使用算力。 目前算力网络的建设正处于“泛在连接”阶段,由各研究院和相关组织共同立项开展研 究,同时推进大型数据中心和异构算力层面的算网资源补齐。 ![img](https://yg9538.kmgy.top/202404070720577.png) **图表**7**:理论与实践并进的算力网络建设** ![img](https://yg9538.kmgy.top/202404070717798.png) **资料来源:艾瑞咨询,** **国盛证券研究所** 由于算网成熟度从 “泛在连接”向“无感调用”逐步递增,我们可以根据不同的建设阶 段, 对算力网络的基础性能、稳定性和发展潜力进行评估。 其中, 在泛在连接阶段,重 在资源、调度、运营能力建设,同时推进安全、运维体系构建。在融合感知阶段,算网 稳定性愈发重要,与基础性能同为重点发力方向。在无感调用阶段,算网开始赋能产业, 商业表现与生态能力成为算网价值输出点。 **图表**8**:算力网络建设成熟度评价体系** ![img](https://yg9538.kmgy.top/202404070717974.png) **资料来源:艾瑞咨询,** **国盛证券研究所** 算力网络的构建需要产业链各方参与者鼎力合作,在各领域、各环节和各层级优势互补, 通过技术与场景的渗透融合, 共同推进算力网络建设落地。 我们可以将算网市场华为资 源提供方与需求方。其中,资源提供方包括算网安全运维厂商,算网基础设施厂商, 算 网运营调度厂商等,而资源需求方则包括覆盖金融、政务等多行业的软件开发商和算力 需求企业。 ![img](https://yg9538.kmgy.top/202404070717982.png)![img](https://yg9538.kmgy.top/202404070717013.png)**图表**9**:算力网络产业图谱** 结合业务算力与网络需求特征, 构建细分的行业场景解决方案。进一步看算网的资源需 求侧,我们可以根据业务对网络时延的要求可将业务分成:热业务、温业务、温冷业务、 冷业务。为更好地服务相关业务体系,结合数据中心部署特征和业务场景平均算力需求, 热业务、温业务、温冷业务场景有望成为算力网络行业建设的重点。 • 热业务:在保证网络稳定性与低时延的同时, 将进一步优化算力结构, 智能算力 能力将进一步被释放,以支持更多偏向 C 端的业务场景落地,优化使用体验,提 升服务能力。 • 温业务:对算力资源需求最高, 算力网络将进一步提升网络的运力水平, 使其可 以更好地服务复杂的大规模业务场景。 • 温冷业务:伴随算网建设的日渐完善,算网能力的整体提升将让更多目前偏后台 的业务的服务效率,推动业务场景的创新,进一步推动前中后业务场景的协同性。 **图表**10**:不同场景对算网需求功能对比** ![image-20240407072141064](https://yg9538.kmgy.top/202404070721152.png)***3.*** 国家超级计算中心加快部署,超算商业化进程提速 我国通用数据中心、智能计算中心持续加快部署。 根据信通院发布的《算力发展指数白 皮书(2023 年)》披露,2022 年, 基础设施算力规模达到 180EFlops,位居全球第二, 在用数据中心机架规模超过 650 万标准机架,近 5 年年均增速超过 30%,平均上架率达 58%。智能中心方面,截至 2023 年 6 月,全国已投运智能计算中心达到 25 个,在建智 能计算中心超 20 个,拥有包括无锡、天津、济南、深圳、长沙、广州等超算中心。 1)国家超级计算无锡中心 • 拥有世界上首台峰值运算性能超过每秒十亿亿次浮点运算能力的超级计算机— — “神威·太湖之光”,运算系统全面采用了国产“申威 26010”众核处理器,也 是我国第一台全部采用国产处理器构建的超级计算机。 • 面向生物医药、海洋科学、油气勘探、气候气象、金融分析、信息安全、工业设 计、动漫渲染等领域提供计算和技术支持服务, 承接国家、省部等重大科技或工 程项目,为我国科技创新和经济发展提供平台支撑。 **图表**11**:** **“神威**•**太湖之光”高效能计**算系统技术指标** | 系统峰值性能 | 125.436PFlops | | ---------------- | ----------------------- | | 实测持续运算性能 | 93.015PFlops | | 处理器型号 | “ 申威 26010”众核处理器 | | 整机处理器个数 | 40960 个 | | 实整机处理器核数 | 10649600 个 | | 系统总内存 | 1310720 GB | | 操作系统 | Raise Linux | | 编程语言 | C、C++、Fortran | | 并行语言及环境 | MPI、OpenMP、OpenACC 等 | | ***SSD*** 存储 | 230TB | | 在线存储 | 10PB,带宽 288GB/s | **资料来源:国家超级计算无锡中心,国盛证券研究所** 2)国家超级计算天津中心 • 装备有峰值性能达每秒 4700 万亿次的 “天河一号”高效能计算机系统,该系统 在 2010 的 HPC TOP500 排名中位列世界第一。 • 另外装备有计算性能达到百万亿次的天河-天腾(TH-1)系统;包含 128 个 Intel- EX5675 CPU 的天河-天翔系统; 以及包含 96 个 CPU 的天河-天驰系统。 • 服务于石油勘探、动漫渲染、生物医药、天气预报、海洋环境工程、遥感数据处 理等多个领域。 **图表**12**:国家超级计算天津中心技术迭代史** ![img](https://yg9538.kmgy.top/202404070717082.jpg) **资料来源:国家超级计算天津中心,国盛证券研究所** 3)国家超级计算济南中心 • 装备神威蓝光超级计算机,系统持续性能为每秒 796 万亿次,是我国第一台完全 采用自主研制的多核处理器构建的千万亿次超级计算系统。 • 在海洋科学与产业、金融风险分析、药物筛选、气候气象、石油勘探、生物信息、 工业设计、智慧城市等领域开展应用。 **图表**13**:国家超级计算济南中心典型应用** | 项目分类 | 项目名称 | 主要内容 | 使用资源 | | -------- | --------------------------------------------------------- | ------------------------------------------------------------ | ---------------------------------------- | | 气象生态 | 山东省精细化集合数值天气 预报系统 | 研发了高分辨率的数值预报关键技术,建成集合数值天气预报平台,为山东省天气预报及灾害性、关键性、转折性重大天气的精确预报提供技 术支撑。 | 每天两次运行, 最大并行规模12288 核 | | 生物医药 | 外切纤维素酶 I 高效降解结晶纤维素动态学过程与充分条件模拟 | 首先进行单副本的分子动力学模拟,然后利用外切纤维素酶催化结构域 的模拟体系(约 5 万原子)进行多达 128 个温度副本的分子动力学模 拟,最高总运算速度累计达到 2274 纳秒/天,为分子动力学模拟利用十万核心进行计算提供了新的思路。 | 一次模拟最大并 行规模 6720 核 | | 物理工业 | 高分辨率海气耦合模式研究 | 建立高分辨率大气-海浪-海洋环流耦合模式, 一方面发展高分辨率的海 气耦合模式能够提高我国的气候系统模式能力,另一方面通过引入海浪 的作用来完善海-气界面的通量交换和海洋混合的关键过程,提高了海气耦合模式的模拟效果和预测预估能力。 | 运行规模可达满 机 131072 核 | | 政务教学 | 水滴实验营教学实训 | 平台为每个(组)学生提供真实的多节点分布式实验环境,极大地满足了当前一些前沿方向(如大数据、人工智能)对实验环境的要求,弥补 了高校单机实验环境的不足。 | 3848 核,3848GB 内存,总 机时 10203 小时 | **资料来源:国家超级计算济南中心,国盛证券研究所** 4)国家超级计算深圳中心 • 配备“星云”超级计算机,2010 年 5 月以运算速度每秒 1271 万亿次(理论峰值 为每秒 3000 万亿次)排名世界第二。 • 以超级计算机为平台,以云计算为方向,开展存储、虚拟化、负载均衡、超大规 模科学计算、工程仿真和图形图像处理领域的研究,以及针对大规模用户的云办 公、云桌面等云应用方面的研究。 **图表**14**:国家超级计算深圳中心计算节点配置** | 产品 | 配置 | | | -------------- | ------------- | ------------------------------------------------------------ | | ***CPU*** 节点 | 192GB48GB | 2*14 Intel Xeon Gold 6132 \|192GB 内存 2*6 Intel X5650 \|48GB 内存 | | ***GPU*** 节点 | 24GB | 2*6 Intel X5650 \|24GB 内存\| NVidia C2050 GPU | | 胖节点 | 128GB512GB1TB | 4*8 AMD 6136 \|128GB 内存4*14 Intel Xeon E7-4850 v3 \|512GB 内存4*14 Intel Xeon E7-4850 v3 \|1TB 内存 | **资料来源:国家超级计算深圳中心,国盛证券研究所** 5)国家超级计算长沙中心 • 核心平台为国防科技大学研制的 TH-1HN 系统,全系统峰值计算性能每秒 1372 万亿次,Linpack 测试浮点计算性能每秒 763.9 万亿次,磁盘总容量 1.47PB • 在科学研究、信息服务、装备制造等领域产生了重要的应用效益。 **图表**15**:国家超级计算长沙中心硬件配置** | “天河”超级计算机 | “天河***·***天马”计算集群 | | | | ---------------- | ------------------------- | -------- | ------------ | | 计算节点 | >10000 个 | CPU | >1000 颗 | | 节点类型 | 自主处理器 | GPU | >400 块 | | 峰值性能 | >200PF(FP64)>800PF(FP16) | 峰值性能 | >200PF(FP16) | | 内存容量 | 786TB | 磁盘容量 | >30PB | | 磁盘容量 | >20PB | 网络系统 | IB+万兆网络 | | 网络系统 | 400Gbps 高速互联网络 | | | **资料来源:国家超级计算长沙中心,国盛证券研究所** 6)国家超级计算广州中心 • 配置天河二号系统,一期峰值计算速度每秒 5.49 亿亿次,持续计算速度每秒 3.39 亿亿次,能效比每瓦特 19 亿次双精度浮点运算。 • 拥有材料科学与工程计算、生物计算与个性化医疗、天文、地球科学与环境工程 计算等多个应用服务平台。 • 目前, 超算系统计算能力升级至 100PF。 **图表**16**:国家超级计算广州中心计算节点配置** | 产品 | 配置 | | | -------------- | ----------- | ------------------------------------------------------------ | | ***CPU*** 节点 | 64GB | 2*12 Intel Xeon E5-2692 v2|64GB | | ***GPU*** 节点 | 256GB | 2*10 Intel Xeon E5-2660 v3|2NVIDIA Tesla K80 GPU|256GB | | 胖节点 | 128GB3TB6TB | 2*12 Intel Xeon E5-2692 v2|128GB 内存 4*14 Intel Xeon E7-4850 v3|3TB 内存 8*16 Intel Xeon E7-8867 v3|6TB 内存 | **资料来源:国家超级计算广州中心,国盛证券研究所** 超算商业化进程提速, 与互联网技术融合加速。 我国超算进入到了以应用需求为导向的 发展阶段。 2022 年, 我国 HPC TOP100 榜单前十名中, 有 6 台是由服务器供应商研制、 部署在网络公司、提供商业化算力服务的超级计算机。随着互联网公司加大对超算的部 署力度,我国超算主体逐渐由政府主导转向商业主导,应用从过去主要集中于科学计算、 政府、能源、电力、气象等领域转向云计算、机器学习、人工智能、大数据分析以及短 视频等。 **图表**17**:**2022**年我国高性能计算机性能**TOP10 | 序 号 | 研制厂商***/***单位 | 型号 | 安装地点 | 安装年份 | 应用领域 | ***CPU*** 核数 | ***Linpack*** 值***(Pflops)*** | 峰值***(Pflops)*** | 效率 ***(%)*** | | ----- | ------------------------------ | ------------------------------------------------------------ | --------------------- | -------- | -------- | -------------- | ------------------------------ | ------------------ | -------------- | | 1 | 服务器供应商 | 网络公司主机系统,CPU+GPU 异构众核处理器 | 网络公司 | 2022 | 算力服务 | 460,000 | 208.260 | 390.000 | 53.4 | | 2 | 服务器供应商 | 网络公司主机系统,CPU+GPU 异构众核处理器 | 网络公司 | 2021 | 算力服务 | 285,000 | 125.040 | 240.000 | 52.1 | | 3 | 国家并行计算机工程技术研究中心 | 神威太湖之光,40960*Sunway SW26010 260C 1.45GHz , 自主网络 | 国家超级计 算无锡中心 | 2016 | 超算中心 | 10,649,600 | 93.015 | 125.436 | 74.2 | | 4 | 服务器供应商 | 网络公司主机系统,CPU+GPU 异构众核处理器 | 网络公司 | 2021 | 算力服务 | 190,000 | 87.040 | 160.000 | 51.2 | | 5 | 国防科大 | 天河二号升级系统(Tianhe-2A) ,TH-IVB-MTX Cluster+ 35584*Intel Xeon E5-2692v2 12C2.2GHz+35584*Matrix-2000 ,TH Express-2 | 国家超级计 算广州中心 | 2017 | 超算中心 | 427,008 | 61.445 | 100.679 | 61.0 | | 6 | 服务器供应商 | 网络公司主机系统,CPU+GPU 异构众核处理器 | 网络公司 | 2021 | 算力服务 | 120,000 | 55.880 | 110.000 | 50.8 | | 7 | 服务器供应商 | 超算中心主机系统,992*SW26010Pro 异构众核 处理器 390C 控制核心2.1GHz 从核 2.25GHz,Sunway Network | 超算中心 | 2021 | 科学计算 | 386,880 | 12.569 | 13.913 | 90.3 | | 8 | 北龙超云/Intel | 北京超级云计算中心 T6 分区,5360*Intel XeonPlatinum 9242 同构众核处理器 48C 2.300 GHz ,EDR | 北京超级云 计算中心 | 2021 | 算力服务 | 257,280 | 10.837 | 18.935 | 57.2 | | 9 | 服务器供应商 | 网络公司主机系统,CPU 处 理器 | 网络公司 | 2021 | 算力服务 | 192,640 | 9.540 | 16.644 | 57.3 | | 10 | 服务器供应商 | 网络公司主机系统,CPU 处 理器 | 网络公司 | 2021 | 算力服务 | 179,200 | 9.120 | 15.482 | 58.9 | **资料来源:**HPC 100**,国盛证券研究所** 随着超算中心部署加快,运维调优越发重要, 尤其大模型训练需要规模化并发计算效能。 同时, 基于算网大脑, 进行全网算力资源的智能编排、弹性调度,让算力像水、电一样 流动,供有需要的企业按需取用,达到算力调度的理想状况。 ![img](https://yg9538.kmgy.top/202404070717315.png)***4.*** 中科曙光: 先后发布算力服务、调度平台, 加速织就全国 算力网络 首个全国一体化算力服务平台建成,曙光加速织就全国“算力网络”。2022 年 7 月 26 日, 在曙光智算一周年盛典上,全国首个一体化算力服务平台正式上线, 实现全国范围 内 AI 算力、通用算力资源的融合调度及弹性供给, 满足各类用户对算力的多样化、可靠 性和便捷性的需求。 全国一体化算力服务平台自规划到上线以来,依托其在技术、产品、生态、资源、服务 维度的优势,不断支撑科学研究、人工智能、工业仿真等领域的范式创新。经过一年的 深耕, 平台用户数量突破 10 万,作业提交量突破 3000 万。 据中科曙光副总裁、曙光智算总裁曹振南介绍,全国一体化算力服务平台实现了对算力、 存储、网络以及数据等分布资源的整合, 并通过统一的算力服务门户,根据科学计算、 工程计算和智能计算等场景需求, 向用户输出算力、算法、数据、应用高度协同的一体 化资源。此外, 还通过增值服务加持,例如 API 接口开放、适配环境优化、商业模式定 制等, 将产业链生态做大,降低用户使用门槛,赋能用户创新发展。 基于原生的底层资源、市场化的运营机制、开放的生态体系以及融合多样的算力供给, 全国一体化算力服务平台正在成为千行百业的首选合作伙伴。 与百度飞浆、深势科技、 云庐科技、东方地球物理、中国石化胜利油田、上海交大等诸多企业与科研院所,在适 配优化、应用孵化、生态建设等方面,建立了深入合作,为更多细分领域用户提供优质 高效的算力服务与开发体验。 **图表**18**:中科曙光副总裁、曙光智算总裁曹振南在元宇宙演讲** ![image-20240407072250815](https://yg9538.kmgy.top/202404070722923.png)**资料来源:中科曙光官网,国盛证券研究所** 两个月后, 曙光联合发布全国首个“一体化算力交易调度平台”。2022 年 9 月 15 日, 在宁夏召开的首届“西部数谷”算力产业大会上, 举行了“全国一体化算力交易调度平 台”启动仪式。 这是国内首家基于“算力可用、可控、可计量”的一体化算力交易调度 平台、算力服务交易解决方案平台。 该平台由宁夏自治区政府联合北京国际大数据交易 所、中国电信、中科曙光共同打造,建设目标是整合零散算力,利用一体化协同调度系 统智慧匹配算力资源。 ![img](https://yg9538.kmgy.top/202404070717256.jpg)**图表**19**:**2022**年中科曙光发布全光“一体化算力交易调度平台”** **资料来源:中科曙光官网,国盛证券研究所** 平台可为大规模任务提供无损智算算力, 解决算力输出、转化、匹配、应用、交易等问 题。平台建设成后将助力形成自由流通、按需配置、有效共享的数据要素市场,助力东 西部算力均衡发展, 助推“东数西算”战略落地。 综合看来, 先前发布的“全国一体化算力服务平台”,标志着全国算力一盘棋的顶层设计 初见成效。 该平台基于原生算力底座, 实现了对全国范围内算力、存储、网络以及数据 等分布资源的整合。而 “一体化算力交易调度平台”的打造, 标志着曙光布局了算力交 易流通环节, 加速了算力网络的闭环打造。中科曙光针对技术、模式、规则、生态等方 面进行全新设计,将在算力流通、应用、治理、交易等领域持续发力。
yg9538
April 7, 2024, 7:22 a.m.
390
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码