2024-02-06CUDA 编程#CUDACUDA编程: CUDA流,并发与上下文摘要 深入介绍流的使用，包括流的并发，多线程调度流，并发限制，创建流间依赖关系，重叠主机与设备的执行等，同时，结合实例讲解了 CUDA 上下文以及 MPS 的概念，简单介绍了 CUDA Driver API 对 Context 的管理。
2024-01-30CUDA 编程#CUDACUDA编程: CUDA流,事件与同步摘要 详细讲解 CUDA 流，事件的概念以及声明，以此为基础，深入了解 CUDA 流操作之间的依赖关系，流的同步与异步，以及如何优化事件的创建与管理等等。
2023-12-26CUDA 编程#CUDACUDA编程: PyCUDA编程简介摘要 PyCUDA GPU 编程。主要内容是掌握几种PyCUDA 的基本内核函数，在 Python 中生成和调用并行化的 CUDA C 内核函数，以及了解 PyCUDA 的并行前缀算法。
2023-12-19CUDA 编程#CUDACUDA编程: CUDA C编程简介摘要 讲解 CUDA C 编程中的简单的内存管理，线程操作，如何编写核函数，使用 Thrust 库，并行计算，性能分析工具。
2023-12-12CUDA 编程#CUDACUDA编程: GPU编程概述和CUDA环境搭建摘要 模型变得越来越深，参数愈加庞大，虽然准确率不断增长，由于硬件受限，对实际场景部署的要求也越来越高，CUDA 编程成为了一门必备的武林绝学。
2023-11-25懵逼的深度学习#分布式训练框架论文阅读: ZeRO++: Extremely Eficient Collective Communication for Giant Model Training摘要 原文链接：https://arxiv.org/pdf/2306.10209.pdf 开源代码：https://github.com/microsoft/deepspeed
2023-10-26懵逼的深度学习#分布式训练框架论文阅读: ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning摘要 ZeRO-Infinity 是基于 ZeRO 的扩展，Infinity 离线引擎可以同时利用 GPU、CPU 和 NVMe 内存，还提出了其他的优化技术。
2023-10-17懵逼的深度学习#分布式训练框架论文阅读: ZeRO-Offload: Democratizing Billion-Scale Model Training摘要 ZeRO-Offload 主要优化在于尽量减少数据在 GPU 与 CPU 之间的移动，并减少 CPU 计算时间，同时最大限度地节省 GPU 上的内存。
2023-09-30懵逼的深度学习#分布式训练框架论文阅读: ZeRO: Memory Optimizations Toward Training Trillion Parameter Models摘要 ZeRO 是一种用于大规模深度学习模型的内存优化解决方案，通过消除数据和模型并行训练中的内存冗余，同时保持了低通信量和高计算粒度。
2023-09-17懵逼的深度学习#分布式训练框架论文阅读: Horovod: fast and easy distributed deep learning in TensorFlow摘要 最近忙实习去了，断更大半年。整理了一下论文，有十几篇没读，后面有时间慢慢更。 这篇论文主要工作是对 TensorFlow 框架 API 的重写，使用 ring-allreduce 和 broadcast 方法，进行数据并行。
2023-09-17懵逼的深度学习#分布式训练框架论文阅读: PyTorch Distributed: Experiences on Accelerating Data Parallel Training摘要 本文提出的 DistributedDataParallel 在优化器运行之前进行梯度平均，用相同的梯度集更新所有模型副本，这样在数学上和本地训练完全等价，而且可以实现异步，比参数平均更加高效。
2023-02-23数学建模#数据分析2023MCM-ICM美赛C题第二问思路摘要 在睡了十一个小时后，蹦出的思路，目前网上没有看到相同的方法（不知道比赛刚结束就发思路会不会出事），第一题和第三题大家大同小异，就不讲解了。
2023-01-07CUDA 编程#工具CUDA编程性能分析工具 nvprof/ncu --metrics参数含义摘要 在网上没有比较全的中文 ncu --metrics 参数含义，于是自己整理了一下官方和外国友人的笔记。
2022-10-06图像处理#知识点CT-Windowing医学CT图像增强摘要 CT winding 是CT扫描的一项图像处理任务，它有助于突出关键的组织结构，通过修改 HU (Hounsfield Units) 参数，使图像更易于分析。
2022-04-19数学建模#多目标优化#最优化方法多目标优化笔记摘要 多目标优化 ( MOO ) - Multi-Objective Optimization 从问题定义，单目标、多目标，无约束、有约束方面了解多目标优化
2021-11-07archlinux#grub记录第n次修复引导区摘要 给U盘装了archlinux后，没注意把固态上archlinux的/etc/fstab分区挂载配置文件修改了，以为是grub又坏了，干脆把挂载在/boot下的EFI 系统格式化了，孙子云：“置之死地而后生。” 从头开始