跳转至

机器学习简介

机器学习（Machine Learning）是人工智能（Artificial Intelligence, AI）的一个分支，主要涉及计算机使用数据和算法来模拟人类学习的方式，逐渐提高其在特定任务上的表现。机器学习广泛应用于各种领域，包括图像识别、语音识别、自然语言处理、推荐系统、金融预测等。

机器学习的基本概念

  1. 数据（Data）：机器学习的核心是数据，数据可以是结构化的（如数据库中的表格）或非结构化的（如文本、图像、视频）。机器学习算法利用这些数据来发现模式并做出预测。
  2. 模型（Model）：模型是机器学习算法在数据上训练后产生的结果。它代表了算法从数据中学到的知识，并可以用来做出预测或决策。
  3. 特征（Features）：特征是从数据中提取的属性或变量，它们被用来训练机器学习模型。例如，在房价预测中，特征可以包括房子的大小、位置、房龄等。
  4. 训练（Training）：训练是模型学习数据模式的过程。在这个过程中，算法使用训练数据来调整模型的参数，以最小化预测错误。
  5. 测试（Testing）：测试是评估模型在新数据上的表现。通过测试数据（模型未见过的数据）来验证模型的准确性和泛化能力。

机器学习的分类

机器学习通常分为三大类：监督学习、无监督学习和强化学习。

  1. 监督学习（Supervised Learning）：
  2. 在监督学习中，模型在带有标签的训练数据上进行训练。标签是指已知的输出或目标值。
  3. 目标是学到一个从输入（特征）到输出（标签）的映射关系，以便在新数据上做出预测。
  4. 常见算法包括线性回归、逻辑回归、支持向量机（SVM）、k近邻（K-Nearest Neighbors, KNN）、决策树、随机森林、梯度提升树和神经网络等。
  5. 应用场景包括图像分类、语音识别、房价预测等。
  6. 无监督学习（Unsupervised Learning）：
  7. 在无监督学习中，模型在没有标签的数据上进行训练。目标是从数据中发现结构或模式。
  8. 常见算法包括聚类算法（如K均值聚类、层次聚类）、降维算法（如主成分分析，PCA）和关联规则学习（如Apriori算法）。
  9. 应用场景包括客户分群、数据降维、特征学习和异常检测。
  10. 强化学习（Reinforcement Learning）：
  11. 强化学习通过试错法让模型学习策略，以最大化累积奖励。模型通过与环境交互，在每一步根据策略选择动作，环境返回奖励或惩罚。
  12. 主要用于决策和控制问题，如机器人控制、游戏AI、自主驾驶等。
  13. 常见算法包括Q学习、深度Q网络（Deep Q Network, DQN）、策略梯度方法和Actor-Critic方法。

有监督学习

逻辑回归

逻辑回归（Logistic Regression）是一种广泛使用的分类算法，主要用于解决二分类问题。尽管名字中带有“回归”，逻辑回归实际上是一个分类模型。

基本概念

逻辑回归的核心思想是使用逻辑函数（Logistic Function，也称为Sigmoid函数）将线性回归模型的输出转换为概率值。这些概率值可以用于预测二元分类的结果（例如，0和1，或者是和否）。

  • Sigmoid函数:
  • Sigmoid函数将任意实数映射到 (0, 1) 区间，可以表示为：

\(\(\sigma(z) = \frac{1}{1 + e^{-z}}σ\)\)

其中， \(\(z== \beta_0 + \beta_1x_1 + \beta_2x_2 + ... + \beta_nx_n\)\) 是线性模型的输出。

  • 输出解释:
  • 输出的概率值 \(\(P(Y=1∣X)\)\)可以用来决定一个样本属于哪一个类别。通常，使用0.5作为阈值，如果 \(\(P(Y=1∣X)>0.5\)\)，则预测为类别1，否则预测为类别0。