基本概念

机器学习

1.常见的激活函数

Sigmoid：1/（1+e-x）缺点：梯度消失;
Tanh：=2Sigmoid(2x) - 1缺点：梯度消失;
Relu：=x(x>0时) =0(x<0时);

2.卷积运算的输出尺寸：

Out = (in + 2p - k)/s + 1;

3.NoSql

非关系型数据库，不使用SQL作为主要查询语言，而是主要以key-value键值对的形式进行数据存储。这种数据库设计主要针对当前互联网时代的复杂数据，具备高度的可伸缩性和可用性。作用：作为缓存减少IO读操作，减轻CPU和IO压力，通过内存直接读取数据，相对于传统关系型数据库，能够处理超大规模和高并发数据。

4.分布式计算

如何应用分布式系统进行计算，即把一组计算机通过网络相互连接组成分散系统，然后将需要处理的数据分散成多个部分，交由分散在系统内的计算机组同时计算再将结果最终合并得到最终结果。

5.大数据相关的技术(工具、技术和方法)：

大数据存储技术：包括分布式文件系统（如HDFS）、分布式数据库（如Cassandra、HBase）和NoSQL数据库（如MongoDB、Redis）等。
大数据处理技术：包括分布式计算框架（如MapReduce、Spark）、流处理框架（如Storm、Flink）和图处理框架（如Giraph）等。
大数据分析技术：包括数据挖掘、机器学习、统计分析等方法，以及可视化工具（如Tableau、PowerBI）等。
大数据采集技术：包括数据抓取技术、数据清洗技术、数据集成技术等。大数据安全技术：包括数据加密、数据备份、数据恢复等，保证数据的安全性和可靠性。

6.LR（Logistic Regression）(一种解决二分类的机器学习方法)

LR是一种用于二分类和多分类问题的线性模型。它使用逻辑函数将输入特征与输出概率之间建立关联，通常用于概率建模和分类任务。

7.准确率有什么缺点和问题

准确率（Accuracy）在不平衡数据集中容易误导，因为它不考虑类别之间的不平衡。在类别分布不均匀时，准确率可能不是一个合适的评估指标，需要考虑其他指标如精确度、召回率、F1分数等。

8.常见的优化算法

常见的优化算法包括梯度下降法（包括随机梯度下降和批量梯度下降）、Adam、RMSprop、Adagrad等。这些算法用于调整模型参数以最小化损失函数。

9.常见的特征提取方法

常见的特征提取方法包括主成分分析（PCA）、线性判别分析（LDA）、单词嵌入（Word Embeddings）、卷积神经网络（CNN）特征提取等，用于从原始数据中提取有用的特征。

10.CNN和MLP区别，CNN的优势

CNN（卷积神经网络）和MLP（多层感知机）都是神经网络模型，但CNN在处理图像和空间数据时具有优势。CNN使用卷积层和池化层可以捕捉局部特征和空间结构，减少了参数数量，并且在图像处理等领域表现出色。

11.RNN和LSTM，优缺点

RNN（循环神经网络）是一种适用于序列数据的神经网络，但它存在梯度消失和梯度爆炸的问题。LSTM（长短时记忆网络）是RNN的一种变体，通过门控机制解决了梯度问题，可以更好地捕捉长期依赖性。然而，LSTM相对复杂，训练和计算成本较高。

12.常见的传统机器学习算法

线性回归、逻辑回归、决策树、支持向量机、朴素贝叶斯等

13.过拟合(overfitting)与解决办法

过拟合是训练效果很好，预测效果很差；解决：

增加数据量，数据增强；
正规化：（简化机器学习的关键公式为 y=Wx . W为机器需要学习到的各种参数. 在过拟合中, W 的值往往变化得特别大或特别小. 为了不让W变化太大, 我们在计算误差上做些手脚. 原始的 cost 误差是这样计算, cost = 预测值-真实值的平方. 如果 W 变得太大, 我们就让 cost 也跟着变大, 变成一种惩罚机制）
Dropout:训练的时候, 我们随机忽略掉一些神经元和神经联结 , 是这个神经网络变得”不完整”. 用一个不完整的神经网络训练一次.
简化模型:
多种模型组合：
贝叶斯方法：

14. min(x,y)的期望；X,Y服从0-1的高斯分布，问min(x,y)的期望

高斯分布

均匀分布：

目录