15分钟掌握编程核心概念:一份全面的速查指南编程世界看似复杂,但其核心概念却能以简洁的方式理解。
1. 变量 (Variables)
定义:变量是计算机内存中用于存储信息的命名位置。可以将其想象成一个贴有标签的盒子,用于记录和修改数据。
属性:
名称 (Name):唯一的标识符。
类型 (Type):存储数据的种类。
值 (Value):实际存储的信息。
作用域 (Scope):决定变量可访问的范围(局部或全局)。
内存地址 (Memory Address):数据在 RAM 中的存储位置。
用途:广泛应用于存储游戏分数、计算器中的数字、用户输入等。
2. 语法 (Syntax)
定义:编程语言的“语法和标点”,定义了正确的结构、符号、关键字和运算符组合。
关键要素:
符号和标点:如大括号 {}, 小括号 (), 分号 ;。
关键字:如 if, while, return, for, case。
重要性:
区分大小写:编程语言通常区分大小写,例如 if 和 If 是不同的。
错误处理:不正确的语法会导致编译时或运行时错误。
代码可读性:良好的...
为什么要使用批次?从计算效率谈起
基本定义回顾:
Epoch(回合): 模型完整地看过一次所有训练资料。
Batch(批次): 在一个Epoch内,我们将所有资料分成若干份,每一份就是一个Batch。模型每看完一个Batch,就进行一次参数更新。
Iteration(迭代): 每更新一次参数,就算一次迭代。因此,迭代次数 = Batch的数量。
Small Batch 与 Large Batch
分析large Batch用时:大的batch有平行计算加持,其实并不比小batch慢
分析Small Batch 用时:算整个epoch的时候,其实小batch,不一定算快
重点讲解:GPU并行计算带来的反直觉效率
直觉误区: Batch Size越大,包含的样本越多,计算梯度所需时间应该越长。
关键洞察:这个直觉是错误的!展示的实验数据显示,在GPU上,将Batch Size从1增加到1000,完成一次梯度计算和参数更新所需的时间几乎没有变化。
深度原因:GPU是为大规模并行计算而生的。无论是处理1个样本还是1000个样本的矩阵运算,GPU都能“同时”处理。因此,只要...
基本假设和完全共线性(Perfect Multicollinearity)多元线性回归模型中,数据矩阵(其中含有常数项列)被假设具有满列秩(full column rank),也就是说它的列向量线性无关。换言之,。
如果存在一个非零向量 ,使得
那么就意味着矩阵 的列是线性相关的,此时我们称 存在完全共线性(perfect multicollinearity)。
此时,不可逆,,因此我们无法通过正规方程来估计参数。
近似共线性(Collinearity)虽然真实数据中完全共线性是罕见的,但经常会出现“近似”共线性,即:此时称为“多重共线性”或“近似共线性”。
虽然 的列仍然线性无关(即 ,但 非奇异矩阵的行列式很小(接近奇异),于是其逆矩阵 的元素就会很大.
对估计方差的影响我们知道回归系数的协方差矩阵是:当 的某些特征值接近 0,导致 某些对角线元素很大,从而导致某些参数估计的方差极大。
换句话说,如果你用回归模型去估计这些 ,会发现估计值对样本扰动非常敏感,标准误特别大,t检验显著性很低 —— 即模型回归整体有效(R²高),但每个变量看上去都“不显著”。
对称正半...
核心概念1. 零假设 ($H_0$)
定义: 假设研究的组间 没有差异,即风险因素/治疗与健康结果之间无关系。
应用: 研究中的默认立场,直到有足够证据推翻它。
2. 备择假设 ($H_a$ 或 $H_1$)
定义: 与零假设相反,声明组间 存在差异。
目标: 研究者希望证明的目标,但无法被绝对“证实”。最接近的方法是 拒绝零假设。
3. I型错误 ($\alpha$)
定义: 错误地拒绝了零假设,即结论认为存在差异,而实际上没有。俗称 假阳性 (False Positive)。
概率: 犯此错误的概率为 Alpha ($\alpha$)。
4. II型错误 ($\beta$)
定义: 未能拒绝本应拒绝的零假设,即结论认为没有差异,而实际上存在。俗称 假阴性 (False Negative)。
概率: 犯此错误的概率为 Beta ($\beta$)。
5. 统计功效 (Power)
定义: 如果差异真实存在,研究能正确发现它的概率。
计算: $\text{Power} = 1 - \beta$
提升方法:
增加样本量
增加效应大小
提高精...
1. 线性回归模型基础
线性模型定义: 一个模型是否为”线性”,取决于它对于参数 β 是否是线性的,而非自变量 X。如果模型对所有参数的偏导数结果中不包含参数本身,那么该模型就是线性的。
模型基本形式:
简单线性回归:
多元线性回归:
其中,y 是因变量,X 是自变量,β 是待估计的参数,ε 是代表随机性的误差项。
2. 参数估计方法:如何找到最优的β?方法一:最小二乘法 (Least Squares Estimation)这个方法的核心思想是找到能让残差平方和 (Sum of Squared Errors, SSE) 最小的参数值。
目标函数: 最小化
求解:通过对所有 β 参数求偏导,并令其等于0,可以得到一组方程,称为正规方程 (Normal Equations)。
简单线性回归的解:
多元线性回归的解 (矩阵形式):
当自变量矩阵 X 是列满秩时,解是唯一的:
当 X 不是列满秩时,需要使用广义逆 (g-inverse) 来求解。
方法二:最大似然估计 (Maximum Likelihood Estimation, MLE)这个方法从概率角度出发,...
主要内容
基本概念:什么是 Shell,它如何工作。
文件系统导航:如何在系统中移动和定位。
文件操作:如何管理文件和目录。
权限系统:理解谁可以对什么文件做什么。
组合命令 (管道和重定向):这是命令行最核心、最强大的思想,视频花了大量时间讲解。
高级交互:通过 sudo 和 sysfs 展示命令行的更高阶用途。
Shell 基础:与计算机对话 Shell 是用户与计算机交互的主要方式,尤其适用于图形界面无法完成的任务 。
GUI 擅长“可视化、点选式”的简单任务,Shell 擅长“批量、自动化、远程、底层”的高效控制。
什么是 Shell?: Shell 是一个命令行界面,它接收你输入的命令,解释这些命令,然后让操作系统执行。
命令提示符 (Prompt): 这是你输入命令的地方。这个提示符是可以高度自定义的。
执行程序: 基本语法是 程序名 参数。
**echo**** 命令**: 这是一个非常基础的命令,作用是把你给它的参数(一段文字)再打印出来。例如,echo hello 会在屏幕上显示 hello。
参数中的空格: 如果你的参数本身就包含空格,比如 he...
核心论点本视频的核心观点是,在使用神经网络(尤其是LSTM)进行金融时间序列(如股价)预测时,一个看似“完美”的预测结果往往具有高度的误导性。预测的真正价值不在于模型表面上的准确率,而在于是否定义了有实际意义的预测目标。
关键对比实验:两种不同的预测目标视频通过对比两种不同的预测目标,清晰地揭示了这一陷阱。
方法一:预测“下一个收盘价”(The Misleading Approach | 错误的思路)
预测目标 (Target): 直接预测下一个时间单位(如下一根K线)的收盘价格。
实验结果 (Result):
在图表上,预测曲线与真实价格曲线几乎完美重合,误差极小。
给人一种模型已经成功掌握了价格变动规律的**“假象”**。
问题剖析 (Analysis of the Trap):
高自相关性:金融数据具有很强的时间连续性,即今天的收盘价与明天的收盘价本身就非常接近。
模型的“懒惰学习”:模型发现,要使损失函数最小化(即提高准确率),最简单的策略就是输出一个与当前输入价格非常接近的值。本质上,模型学到的是 预测价(t+1) ≈ 真实价(t)。
实际价值 = 零:...
12345678910111213141516╔══════════════════════════════════════════╗║ Ethernet Frame (数据链路层) ║║ ┌────────────┬────────────┬──────────┐ ║║ │ MAC Header │ IP Packet │ CRC Tail │ ║║ │ │ │ │ ║║ │ │ ┌────────┬──────────┐ │ ║║ │ │ │ IP hdr │ TCP/UDP │ │ ║║ │ │ │ │ Segment │ │ ║║ │ │ │ │ ┌──────┐ │ │ ║║ │ │ │ │ │ App │ │ │ ║║ │ │ │ │ │ Data │ │ │ ║║ │...
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
Quick StartCreate a new post1$ hexo new "My New Post"
More info: Writing
Run server1$ hexo server
More info: Server
Generate static files1$ hexo generate
More info: Generating
Deploy to remote sites1$ hexo deploy
More info: Deployment