台交大随机过程 Lecture 5
课程主页:https://ocw.nctu.edu.tw/course_detail.php?bgid=8&gid=0&nid=558
老师主页:http://shannon.cm.nctu.edu.tw/
课程视频:https://www.bilibili.com/video/BV1sW411U7xK?from=search&seid=2411740640027894887,
https://www.youtube.com/watch?v=IsQSWVbAKy0&list=PLj6E8qlqmkFvw7Rt63yBqai2HmPKF0V0J
这次回顾第五讲,介绍了功率谱密度,对应视频12。
功率谱功率谱WSS过程$\boldsymbol{x}(t)$的功率谱$S_{x x}(\omega)$是自相关函数$R_{x x}(\tau)=E\left[\boldsymbol{x}(t+\tau) \boldsymbol{x}^{*}(t)\right]$的傅里叶变换:
S_{x x}(\omega)=\int_{-\infty}^{\infty} R_{ ...
台交大信息论 Lecture 6
课程主页:https://ocw.nctu.edu.tw/course_detail-c.php?bgid=8&gid=0&nid=612&pid=973
http://shannon.cm.nctu.edu.tw/it18.htm
老师主页:http://shannon.cm.nctu.edu.tw/
课程视频:https://www.youtube.com/playlist?list=PLj6E8qlqmkFsWS54o6gNWeDGXeI7c3eUd
这次回顾第六讲,这一讲主要介绍了信源编码定理,对应视频12。
离散无记忆源(DMS)定义:
离散无记忆源(DMS)包含i.i.d随机变量序列$\left\{X_{n}\right\}_{n=1}^{\infty}$,即
P_{X^{n}}\left(x_{1}, x_{2}, \ldots, x_{n}\right)=\prod_{i=1}^{n} P_{X}\left(x_{i}\right)$(n,M)$分块码定义:
对于离散源$\left\{X_{n}\right\}_{n=1}^{\infty}$ ...
CMU 15-213 Intro to Computer Systems Lecture 17
课程主页:http://www.cs.cmu.edu/afs/cs/academic/class/15213-f15/www/schedule.html
课程资料:https://github.com/EugeneLiu/translationCSAPP
课程视频:https://www.bilibili.com/video/av31289365/
这一讲介绍了虚拟内存。
地址空间使用物理地址的系统
用于“简单”系统,例如汽车,电梯和数码相机等设备中的嵌入式微控制器
使用虚拟地址的系统
用于所有现代服务器,笔记本电脑和智能手机
计算机科学的伟大思想之一
地址空间
线性地址空间:连续的非负整数地址的有序集合
\{0,1,2,3 \ldots\}
虚拟地址空间:$N=2^n$个虚拟地址集合
\{0,1,2,3, \ldots, N-1\}
物理地址空间:$M=2^m$个物理地址集合
\{0,1,2,3, \ldots, M-1\}
为什么使用虚拟内存
有效地使用主存
将DRAM用作部分虚拟地址空间的缓存
简化内存管理
每个进程获得相同的统一线性地址空间
隔离地址空 ...
台交大信息论 Lecture 5
课程主页:https://ocw.nctu.edu.tw/course_detail-c.php?bgid=8&gid=0&nid=612&pid=973
http://shannon.cm.nctu.edu.tw/it18.htm
老师主页:http://shannon.cm.nctu.edu.tw/
课程视频:https://www.youtube.com/playlist?list=PLj6E8qlqmkFsWS54o6gNWeDGXeI7c3eUd
这次回顾第五讲,这一讲主要介绍了Fano不等式以及KL散度,对应视频9-11。
Fano不等式令$X,Y$为两个相关随机变量,$X$取值于$\mathcal X$,$Y$取值于$\mathcal Y$,$\mathcal X$有限,$\mathcal Y$可数无限。假设$\hat{X}:=g(Y)$为通过观测$Y$得到对于$X$的估计,其中$g: \mathcal{Y} \rightarrow \mathcal{X}$是给定的估计函数。定义误差概率
P_{e}:=\operatorname{Pr}[\ha ...
台交大随机过程 Lecture 4
课程主页:https://ocw.nctu.edu.tw/course_detail.php?bgid=8&gid=0&nid=558
老师主页:http://shannon.cm.nctu.edu.tw/
课程视频:https://www.bilibili.com/video/BV1sW411U7xK?from=search&seid=2411740640027894887,
https://www.youtube.com/watch?v=IsQSWVbAKy0&list=PLj6E8qlqmkFvw7Rt63yBqai2HmPKF0V0J
这次回顾第四讲,介绍了线性时不变系统,脉冲响应函数以及卷积,对应视频9-11。
有随机输入的系统输入:$x(t)$,其中$\{x(t), t \in \mathcal{I}\}$定义在$(S, \mathcal{F}, P)$
算子:$\boldsymbol{T}$
输出:$\boldsymbol{y}(t)=\boldsymbol{T}(\{\boldsymbol{x}(s), s \in \mathcal{I ...
台交大信息论 Lecture 4
课程主页:https://ocw.nctu.edu.tw/course_detail-c.php?bgid=8&gid=0&nid=612&pid=973
http://shannon.cm.nctu.edu.tw/it18.htm
老师主页:http://shannon.cm.nctu.edu.tw/
课程视频:https://www.youtube.com/playlist?list=PLj6E8qlqmkFsWS54o6gNWeDGXeI7c3eUd
这次回顾第四讲,这一讲主要介绍了各种和熵相关的概念,对应视频8-9。
自信息
自信息,用$\mathcal I(E)$表示,是学习事件$E$所获得的信息
自信息满足三个公理
$\mathcal I(E)$是关于概率$p_E$的递减函数,即$\mathcal{I}(E)=I\left(p_{E}\right), I$在$[0,1]$递减
$I(p_E)$连续
如果$E_{1} \perp E 2$,其中$\perp$表示独立,那么$\mathcal{I}\left(E_{1} \cap E_{2}\righ ...
CMU 15-213 Intro to Computer Systems Lecture 16
课程主页:http://www.cs.cmu.edu/afs/cs/academic/class/15213-f15/www/schedule.html
课程资料:https://github.com/EugeneLiu/translationCSAPP
课程视频:https://www.bilibili.com/video/av31289365/
这一讲介绍了系统级I/O。
Unix I/OUnix I/O概述
Linux文件是一个$m$个字节的序列:
B_{0}, B_{1}, \cdots, B_{k}, \cdots, B_{m-1}
所有的I/O设备都被模型化为文件:
/dev/sda2(/usr磁盘分区)
/dev/tty2(终端)
内核也表示为文件:
/boot/vmlinuz-3.13.0-55-generic(内核映像)
/proc(内核数据结构)
将设备优雅地映射为文件的方式,允许Linux内核引出一个简单,低级的应用接口,称为Unix I/O:
打开关闭文件
open()和close()
读写文件
read()和write()
改变当前文 ...
台交大信息论 Lecture 3
课程主页:https://ocw.nctu.edu.tw/course_detail-c.php?bgid=8&gid=0&nid=612&pid=973
http://shannon.cm.nctu.edu.tw/it18.htm
老师主页:http://shannon.cm.nctu.edu.tw/
课程视频:https://www.youtube.com/playlist?list=PLj6E8qlqmkFsWS54o6gNWeDGXeI7c3eUd
这次回顾第三讲,主要回顾概率以及随机过程的知识,对应视频5-7,概率的一部分内容从略。
随机过程的统计属性$\mathbb T-$不变以及遍历性事件$E$关于偏移变换$\mathbb{T}: \mathcal{X}^{\infty} \rightarrow \mathcal{X}^{\infty}$被称为$\mathbb T-$不变,如果
\mathbb{T} E \subseteq E其中
\mathbb{T} E:=\{\mathbb{T} \boldsymbol{x}: \boldsymbol{x ...
Digital Signal Processing 2 Filtering Week3 习题
课程主页:https://www.coursera.org/learn/dsp2
这部分回顾第三周的习题。
1(Difficulty: $\star$ ) Assume $x[n]$ is a WSS random process with power spectral density $P_{x}\left(e^{j \omega}\right) .$ Which of the following properties are true?
$P_{x}\left(e^{j \omega}\right)$ is constant
$P_{x}\left(e^{j \omega}\right)$ is symmetric around $\omega=0$
$P_{x}\left(e^{j \omega}\right) \geq 0$
$P_{x}\left(e^{j \omega}\right)$ is real-valued.
回顾定义
P_{X}\left(e^{j \omega}\right)=\sum_{k=-\infty}^{\infty} r_{X}[k] e^{- ...
Digital Signal Processing 2 Filtering Week2 习题
课程主页:https://www.coursera.org/learn/dsp2
这部分回顾第二周的习题。
1(Difficulty: $\star$ ) Consider the following causal CCDE
y[n]+2 y[n-1]=3 x[n]+2.5 x[n-1]Which of the following statements are correct?
If the input signal is $\delta[n]-\delta[n+1]$, then the z-transform of the output would be $(-3 z+1 / 2+$ $\left.5 / 2 z^{-1}\right) /\left(1+2 z^{-1}\right)$
It has two poles at $-$2 and $\frac{-5}{6}$
Its ROC contains the unit circle.
The system is stable.
使用$Z$变换可得
\begin{aligned}
Y(z)(1+2z^{-1})&=X ...
台交大信息论 Lecture 2
课程主页:
https://ocw.nctu.edu.tw/course_detail-c.php?bgid=8&gid=0&nid=612&pid=973
http://shannon.cm.nctu.edu.tw/it18.htm
老师主页:
http://shannon.cm.nctu.edu.tw/
课程视频:
https://www.youtube.com/playlist?list=PLj6E8qlqmkFsWS54o6gNWeDGXeI7c3eUd
这次回顾第二讲,主要介绍了一些基本数学知识,对应视频3-4,这里只回顾不太熟悉的部分。
Suprema和Limits概述备注,该课程的讨论都在拓展实数集$\mathbb{R} \cup\{-\infty, \infty\}$上。
单调函数的上确界/下确界
如果$f: \mathbb{R} \rightarrow \mathbb{R}$是不减函数,那么
\begin{array}{l}
\sup \{x \in \mathbb{R}: f(x)\varepsilon\}
\end{arra ...
台交大信息论 Lecture 1
课程主页:
https://ocw.nctu.edu.tw/course_detail-c.php?bgid=8&gid=0&nid=612&pid=973
http://shannon.cm.nctu.edu.tw/it18.htm
老师主页:
http://shannon.cm.nctu.edu.tw/
课程视频:
https://www.youtube.com/playlist?list=PLj6E8qlqmkFsWS54o6gNWeDGXeI7c3eUd
这次回顾第一讲,主要介绍了信息论背后的哲学,对应视频1-2。
概述:信息论背后的哲学如何度量信息
信息内容的定量定义(概率视角)
公理:
事件概率的单调性:如果事件发生的可能性较小,则在事件发生时应携带更多信息,因为不确定事件是否会发生。
可加性:对信息度量具有“可加性”是合理的,即,联合事件的不确定度应等于单个(但不相交)事件的不确定度之和。
连续性:事件概率的小变化仅会导致事件不确定性的小变化。 例如,两个事件的概率分别为$0.20001$和$0.19999$,应该合理地拥有可比较 ...