> # OSS 和 CDN
- OSS 作为源站,CDN 提供加速
* **OSS**:核心是“存储”,解决数据可靠保存问题。
* **CDN**:核心是“加速”,解决访问速度和高并发问题。
* **搭配使用**:用 OSS 存储资源,通过 CDN 提供快速分发和访问,是现代应用常见的最佳实践。
> # mysqldump 导出数据
- 用 Navicat 导出表结构和数据(每一行数据是一条insert语句)

- 使用 mysqldump 导出数据 (一次性insert多条数据的value)
- mysqldump -u root -p mydatabase mytable > mytable_dump.sql

- 用命令行导入数据(Navicat 导入可能会报错):
mysql -u root -p mydatabase < mytable_dump.sql
> # mysql报错
- Too many connections: 数据库的同时连接数超出了服务器允许的最大值
- show variables like 'max_connections';
- Invalid connection:连接可能因为空闲超时或网络问题失效。
- show variables like '%wait_timeout%';
- **Lost connection to MySQL server during query**
- Lost connection to MySQL server during query: 查询时间过长,或服务器的 `wait_timeout` 或 `interactive_timeout` 太短
- Lock wait timeout exceeded; try restarting transaction
- Deadlock found when trying to get lock; try restarting transaction
> # 正无穷大,负无穷大,无效数字
~~~
package main
import (
"fmt"
"math"
)
func main() {
num1 := math.Inf(1) //正无穷大
num2 := math.Inf(-1) //负无穷大
num3 := math.NaN() //无效数字
fmt.Println(num1, num2, num3)
fmt.Println(math.Inf(1) == math.Inf(1)) //true
fmt.Println(math.Inf(-1) == math.Inf(-1)) //true
fmt.Println(math.NaN() == math.NaN()) //false
}
~~~
> # gzip
- 服务端代码
- 二进制的压缩率比较低
- 对重复数据,压缩率极高 (日常接口返回的json数据可以压缩5倍,8倍)
~~~
package main
import (
"bytes"
"compress/gzip"
"encoding/json"
"fmt"
"math/rand"
"net/http"
"strings"
"time"
)
// 模拟大数据结构
type LargeData struct {
ID int `json:"id"`
Name string `json:"name"`
Content string `json:"content"`
}
// 生成大数据
func generateRandomString(length int) string {
const charset = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789"
seededRand := rand.New(rand.NewSource(time.Now().UnixNano()))
builder := strings.Builder{}
builder.Grow(length)
for i := 0; i < length; i++ {
builder.WriteByte(charset[seededRand.Intn(len(charset))])
}
return builder.String()
}
// generateLargeData generates a slice of LargeData with unique and random content
func generateLargeData() []LargeData {
var data []LargeData
uniqueNames := make(map[string]bool)
for i := 0; i < 1000; i++ {
// Generate a unique name
var name string
for {
name = fmt.Sprintf("Item-%s", generateRandomString(10))
if !uniqueNames[name] {
uniqueNames[name] = true
break
}
}
data = append(data, LargeData{
ID: i,
Name: name,
Content: generateRandomString(250), // Random content of 250 characters
})
}
return data
}
// 压缩数据为 Gzip 格式
func compressGzip(data []byte) ([]byte, error) {
var buf bytes.Buffer
gz := gzip.NewWriter(&buf)
_, err := gz.Write(data)
if err != nil {
return nil, err
}
gz.Close()
return buf.Bytes(), nil
}
// HTTP 处理函数
func handler(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Access-Control-Allow-Origin", "*") // 允许所有来源
w.Header().Set("Access-Control-Allow-Methods", "GET, OPTIONS") // 允许的 HTTP 方法
w.Header().Set("Access-Control-Allow-Headers", "Content-Encoding") // 允许的自定义头
// 生成大数据
data := generateLargeData()
// 序列化为 JSON
jsonData, err := json.Marshal(data)
if err != nil {
http.Error(w, "Error generating data", http.StatusInternalServerError)
return
}
// 检查客户端是否支持 Gzip
acceptEncoding := r.Header.Get("Accept-Encoding")
if strings.Contains(acceptEncoding, "gzip") {
// 压缩数据
compressedData, err := compressGzip(jsonData)
if err != nil {
http.Error(w, "Error compressing data", http.StatusInternalServerError)
return
}
// 设置响应头
w.Header().Set("Content-Encoding", "gzip")
w.Header().Set("Content-Type", "application/json")
w.Header().Set("Content-Length", fmt.Sprintf("%d", len(compressedData)))
fmt.Println(len(jsonData))
fmt.Println(len(compressedData))
// 写入压缩数据
w.Write(compressedData)
} else {
// 客户端不支持 Gzip,直接返回未压缩数据
w.Header().Set("Content-Type", "application/json")
w.Header().Set("Content-Length", fmt.Sprintf("%d", len(jsonData)))
// 写入未压缩数据
w.Write(jsonData)
}
}
func main() {
// 注册路由
http.HandleFunc("/data", handler)
// 启动 HTTP 服务器
fmt.Println("Starting server on :8080")
http.ListenAndServe(":8080", nil)
}
~~~
- 客户端代码
~~~
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>Fetch Gzip Data</title>
</head>
<body>
<h1>Fetch Gzip-compressed Data</h1>
<button id="fetchDataButton">Fetch Data</button>
<pre id="result"></pre>
<script>
document.getElementById('fetchDataButton').addEventListener('click', async () => {
try {
// 发起 GET 请求
const response = await fetch('http://localhost:8080/data', {
method: 'GET',
headers: {
'Accept-Encoding': 'gzip', // 告诉服务端客户端支持 Gzip
}
});
if (!response.ok) {
throw new Error(`HTTP error! Status: ${response.status}`);
}
// 解析 JSON 数据
const data = await response.json();
// 显示返回的数据
document.getElementById('result').textContent = JSON.stringify(data, null, 2);
} catch (error) {
console.error('Error fetching data:', error);
document.getElementById('result').textContent = `Error: ${error.message}`;
}
});
</script>
</body>
</html>
~~~
荣幸能够成为公司的一员,以后请大家多多
- 目录
- 第一例 gRPC使用例子
- 第二例 基于go-micro做服务注册和服务发现
- 第三例 留言板项目源码
- 第四例 聊天室
- 第五例 工具库
- dao
- common
- common.go
- config
- config.go
- gorm
- grom.go
- sqlx
- sqlx.go
- kafka
- kafka.go
- log
- log.go
- log2.go
- redis
- redis.go
- zookeeper
- zookeeper.go
- init
- main.go
- 工具库
- cache
- cfg.go
- redis
- 示例
- database
- cfg.go
- gorm.go
- sql.go
- 示例
- mq
- cfg.go
- kafka_consumer.go
- kafka_producter.go
- 示例
- time
- time.go
- 第六例 原生sql操作
- 第七例 sqlx操作
- 第八例 Redis数据库(gomodule/redigo)
- 第九例 Redis消息队列
- 第十例 Redis集群连接
- 十一例 Zookeeper操作
- 十二例 Kafka操作
- 十三例 NSQ操作
- 十四例 二分查找
- 十五例 交换排序 - 冒泡排序
- 十六例 插入排序 - 直接插入排序
- 十七例 插入排序 - 希尔排序
- 十八例 交换排序 - 快速排序
- 十九例 算法求解应用
- 二十例 pprof性能分析
- 二一例 CPU信息采集
- 二二例 Heap信息采集
- 二三例 Http信息采集
- 二四例 单元测试(功能测试)
- 二五例 基准测试(压力测试/性能测试)
- 二六例 gdb调试
- 二七例 json序列化和反序列化
- 二八例 protobuf序列化和反序列化
- 二九例 包管理工具 go vendor
- 三十例 包管理工具 go mod
- 三一例 zip压缩
- 三二例 交叉编译
- 三三例 线上环境部署
- 三四例 业务:实现固定周期维护
- 三五例 聊天室(精简版)
- 三六例 并发安全字典
- 三七例 导出Excel表格
- 三八例 导出CSV表格
- 三九例 聊天室(高并发)
- 四十例 JWT (Json Web Token)
- 四一例 雪花算法生成 Id
- 四二例 对称加密 AES
- 四三例 非对称加密 RSA
- 四四例 签名算法 SHA1
- 四五例 数据库操作 gorm
- gorm V2
- 四六例 数据库操作 gorm 集合
- 数据库连接和创建表
- 查询 - 分页
- 查询所有数据
- 查询单条数据
- 插入一条或多条数据
- 更新一条或多条数据
- 更新一条或多条数据(有零值)
- 四七例 RSA(MD5WithRSA 算法)签名和验签方式
- 四八例 线上部署脚本
- 四九例 Elasticsearch
- 五十例 对象池
- 五一例 中间库(github.com/wong-winnie/library)
- 五二例 二维码(生成和解析)
- 五三例 回调用例
- 五四例 文件服务器(MINIO)
- 五五例 chm文档转json
- 提取内容页Json
- 将目录索引和内容页混合生成Json
- 目录层级小案例
- 五六例 部署 gogs 代码管理工具
- 五七例 通过命令行操作SVN
- 五八例 根据数据库表生产模型
- 五九例 Trie树
- 六十例 二进制排序
- 六一例 递归+迭代实现无限级分类
- 六二例 Arrow 数据结构
- 简单介绍
- Go 用Arrow数据格式与其它语言交互
- 六三例 LMDB 内存映射型数据库
- 获取指定Key位置
- 六四例 切片数据按字段分类
- 六五例 Xorm 批量插入数据
- 六六例 FlatBuffers 序列化和反序列化
- FlatBuffers 步骤1
- FlatBuffers 步骤2
- 六七例 数据同步
- 增量同步v1
- 全量同步v1
- 定时器
- 六八例 Http请求
- 六九例 Gin + 数据库操作
- 七十例 ClickHouse 列式数据库
- 七一例 用图表展示数据库数据
- 七二例 go:linkname
- 七三例 四舍五入、保留3小数位
- 七四例 判断两个时间戳是否同一天
- 七五例 Gin Http请求
- 七六例 过滤器
- 七七例 Excel 导入导出
- 七八例 小程序向公众号推消息
- 七九列 解析二进制数据
- 例子一
- 例子二
- 八十例 路由转发
- 八一例 协程池(安全执行任务,捕获异常)
- 八二例 切片 slice
- 八三例 集合 map
- 八四例 Redis 六种数据类型
- 八五例 Zstd压缩
- 八六例 提高接口并发量
- 八七例 协程 goroutine 和 通道 channel
- 八七例 Mysql 事务和索引等
- 编写中
- 数据交互
- mysql 索引和事务
- 发请求
- defer
- 其它
- linux
- OAuth2.0 和 JWT
- 其它2
- 其他
- Web3.0 智能合约
- 多人贪吃蛇
- V1
- 客户端
- 服务端
- V2
- 同步方式
- 游戏框架
- deepseek
- k8s
- TRPC
- Kafka
- 加密
- mm
- 技术扩展阅读