{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 2.4 线性无关和生成空间"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "如果 $\\mathbf A^{-1}$ 存在，那么方程 $\\bf Ax=b$ 对于任意 $b$ 必须只有一个解 $\\mathbf A^{-1}\\mathbf b$。\n",
    "\n",
    "如果对于某个 $\\mathbf b$ 存在多解，那么一定是无穷多的解。\n",
    "因为如果 $\\bf x,y$ 是方程的解，那么 $\\forall \\alpha \\in \\mathbb R, \\mathbf z = \\alpha \\mathbf x + (1-\\alpha)\\mathbf y$ 都是方程的解。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 线性组合和生成空间"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "对于一组向量的集合 $\\{\\mathbf v^{(1)}, \\dots, \\mathbf v^{(n)}\\}$，其线性组合为 \n",
    "\n",
    "$$\n",
    "\\sum_{i} c_i \\mathbf v^{(i)}\n",
    "$$\n",
    "\n",
    "集合 $\\{\\mathbf v^{(1)}, \\dots, \\mathbf v^{(n)}\\}$ 的生成空间（`span`）就是所有这些线性组合得到的向量组成的集合。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "我们将 $\\mathbf{Ax}$ 改写为 \n",
    "\n",
    "$$\\mathbf{Ax}=\\sum_{i}x_i \\mathbf A_{:,i}$$\n",
    "\n",
    "因此 $b$ 可以看成是 $\\mathbf A$ 的列向量组的线性组合（`linear combination`）。\n",
    "\n",
    "为了使得所有的 $b\\in \\mathbb R^{m}$ 都有解，那么 $\\mathbf A$ 的列向量组的生成空间应当是全空间 $\\mathbb R^{m}$。\n",
    "\n",
    "为此，这些列向量组的个数 $n$ 应当至少有 $m$ 个，即 $n \\geq m$。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 线性无关"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$n \\geq m$ 只是必要条件而不是充分条件，因为这些列向量可以存在冗余。\n",
    "\n",
    "这种冗余叫做线性相关性。\n",
    "\n",
    "一组线性无关的向量组定义为：其中任何一个向量，不能使用其它向量的线性组合表示。\n",
    "\n",
    "对于 $\\mathbb R^{m}$ 的向量组，其中线性无关的向量最多只有 $m$ 个。\n",
    "\n",
    "向一组向量中加入一个这组向量的线性组合，并不会向其生成空间中加入新的向量。\n",
    "\n",
    "因此，为了使得所有的 $b\\in \\mathbb R^{m}$ 都有解，$\\mathbf A$ 的列向量组应当有 $m$ 个线性无关解。\n",
    "\n",
    "为了使得方程只有一个解，我们需要限制列的个数，所以 $n \\leq m$。\n",
    "\n",
    "综合上面的结果，为了使得 $\\mathbf A^{-1}$ 存在，我们需要有 $\\bf A$ 满足 $m=n$ 即方阵，以及所有的列向量都是线性无关的。\n",
    "\n",
    "有线性相关的列向量的方阵叫做奇异的。\n",
    "\n",
    "当然，如果 $\\mathbf A^{-1}$ 不存在，线性方程组 $\\bf Ax=b$ 还是可能有解的。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 左逆和右逆"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "之前我们讨论的逆是矩阵的左逆，事实上，矩阵可以定义右逆为：\n",
    "\n",
    "$$\n",
    "\\mathbf{AA}^{-1} = \\mathbf I\n",
    "$$\n",
    "\n",
    "对于方阵，左逆和右逆是相等的。"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}