真正的火羽白

# 参数估计基础 参数估计是统计学和机器学习中的核心问题，旨在从观测数据中推断未知参数的值。 最大似然估计 (Maximum Likelihood Estimation, MLE) 似然函数的定义 假设我们有一个由参数集 θ\thetaθ 控制的密度函数 f(x∣θ)f(x \mid \theta)f(x∣θ)（通常我们已经知道 fff 的确切形式）。似然函数 LLL 是通过交换 xxx 和 θ\thetaθ 的角色得到的函数，即我们将 θ\thetaθ 视为变量，xxx 视为给定信息： L(θ∣x)=f(x∣θ)L(\theta \mid x) = f(x \mid

# SVM 基础 支撑向量机（Support Vector Machine, SVM）的初始想法源自凸集分离特性的应用。SVM 是优化研究者接触机器学习的第一个重要范例，因为它可以表述为经典的凸二次规划问题。 # 凸集分离 (Separation of Convex Sets) 超平面的定义 超平面（hyperplane）是形如 {x∣aTx=b}\{x \mid a^T x = b\}{x∣aTx=b} 的集合，其中 a∈Rn,a≠0a \in \mathbb{R}^n, a \neq 0a∈Rn,a=0，b∈Rb \in \mathbb{R}b∈

# CVX CVX 是由 Michael Grant 和 Stephen Boyd 开发的基于 disciplined convex programming 的建模系统。 基本信息 CVX 基于 disciplined convex programming 的思想 建立在早期工作基础上：Löfberg 的 YALMIP、Dahl 和 Vandenberghe 的 CVXOPT 在给定规则集下，提供凸原子的正确组合，确保优化问题是可证明的凸问题 可以求解标准问题：线性规划（LP）、二次规划（QP）、二阶锥规划（SOCP）、半正定规划（SDP） CVX 的局限性 CVX 不是用于检查

# 线性规划的对偶理论 标准形式的线性规划问题（原问题 Primal Problem） min⁡xcTxs.t.Ax=bx⪰0\begin{align*} \min_x \quad & c^T x \\ \text{s.t.} \quad & Ax = b \\ & x \succeq 0 \end{align*} xmin​s.t.​cTxAx=bx⪰0​ 其中 A∈Rm×nA \in \mathbb{R}^{m \times n}A∈Rm×n，b∈Rmb \in \mathbb{R}^mb∈Rm，c

# 定义 标准形式的优化问题如下： min⁡xf0(x)s.t.fi(x)≤0,i=1,…,mhj(x)=0,j=1,…,p\begin{align*} \min_{x} \quad & f_0(x) \\ \text{s.t.} \quad & f_i(x) \leq 0,\quad i=1,\dots, m \\ & h_j(x) = 0,\quad j=1,\dots, p \end{align*} xmin​s.t.​f0​(x)fi​(x)≤0,i=

# 定义与例子 凸函数 Convex Function：定义在凸集 CCC 上的函数 f:C→Rf: C \to \mathbb{R}f:C→R，如果对于任意 x1,x2∈Cx_1, x_2 \in Cx1​,x2​∈C 和 ∀λ∈[0,1]\forall \lambda \in [0, 1]∀λ∈[0,1]，都有 f(λx1+(1−λ)x2)≤λf(x1)+(1−λ)f(x2)f(\lambda x_1 + (1 - \lambda) x_2) \leq \lambda f(x_1) + (1 - \lambda) f(x_2) f(λx1​+(1−λ)x2​)≤λf(x1​)+(1−λ

# 定义与例子 范数：满足以下四个条件的任意函数 f:V→Rf: V \to \mathbb{R}f:V→R 称为范数： 非负性：∀x∈V,f(x)≥0\forall x \in V, f(x) \geq 0∀x∈V,f(x)≥0，且 f(x)=0  ⟺  x=0f(x) = 0 \iff x = 0f(x)=0⟺x=0； 齐次性：∀x∈V,∀α∈R,f(αx)=∣α∣f(x)\forall x \in V, \forall \alpha \in \mathbb{R}, f(\alpha x) = |\alp

# 文件系统概述 # 文件系统及其目标 信息是计算机系统中的重要资源，所有应用系统都需要存储和检索信息。操作系统的文件系统（File System）正是为了满足信息管理的需要而设计的，它负责信息的组织、存储和访问。 存储信息通常有三个基本要求： 大容量：能够存储大量的信息。 持久性：能够长期保存信息，即使系统断电也不会丢失。 可共享：允许多个进程或用户方便地共享信息。 为了满足这些要求，操作系统将信息以一种逻辑单元——即文件的形式，存储在磁盘等持久性存储介质上。文件系统作为操作系统中专门管理文件的部分，其核心目标是管理文件的存储、检索、更新，提供安全可靠的共享和保护手段，并为用户提供方便易

# 设备管理概述 # 设备管理的功能与目标 操作系统中的 I/O 子系统负责管理计算机的所有输入输出设备，是操作系统的核心功能之一。其主要功能和目标包括： 控制设备操作：按照用户的请求，控制设备的各种操作，完成 I/O 设备与内存之间的数据交换。 提供统一接口：在设备和系统的其他部分之间提供一个简单、统一且易于使用的接口，使用户能够方便地使用外部设备，摆脱繁琐的底层编程。 实现设备无关性（设备独立性）：允许用户在编程时使用逻辑设备名，由操作系统负责实现从逻辑设备到物理设备的转换和映射。这意味着用户的程序可以独立于具体的物理设备运行。 提高处理效率：充分利用中断、DMA、缓

# 存储器管理概述 # 存储管理的挑战与起因 现代处理器能以很高的速度执行指令，因此处理器必须连接一个容量大、速度快的存储器。然而，设计一个足够大、足够快又足够便宜的单一存储器是不可能的。 容量问题：如果存储器容量太小，就不能装载足够的程序以保持处理器全力处理。 速度问题：如果存储器太慢，就不能像处理器执行指令那样快地提供指令和数据，导致处理器空等。 成本问题：大容量、高速度的存储器成本极其高昂。 # 存储器访问的局部性原理 操作系统和计算机体系结构通过利用“存储器访问的局部性原理”来解决上述挑战。该原理指出：处理器访问存储器时，无论取指令还是取数据，所访问的存储单元都趋向于聚集在一个较小