在入侵检测系统中，为了提高系统的性能，包括降低误报率和漏报率，缩短反应时间等，学者们引入了许多方法，如专家系统、神经网络、遗传算法和数据挖掘中的聚类，分类等各种算法。例如：Cooper & Herkovits提出的一种基于贪心算法的贝叶斯信念网络，而Provan & Singh Provan，G.M & Singh M和其他学者报告了这种方法的优点。贝叶斯网络说明联合条件概率分布，为机器学习提供一种因果关系的图形，能有效的处理某些问题，如诊断：贝叶斯网络能正确的处理不确定和有噪声的问题，这类问题在任何检测任务中都很重要。

然而，在分类算法的比较研究发现，一种称作朴素贝叶斯分类的简单贝叶斯算法给人印象更为深刻。尽管朴素贝叶斯的分类器有个很简单的假定，但从现实数据中的实验反复地表明它可以与决定树和神经网络分类算法相媲美^[1]。

在本文中，我们研究朴素贝叶斯分类算法，用来检测入侵审计数据，旨在开发一种更有效的，检验更加准确的算法。

贝叶斯分类是统计学分类方法。它们可以预测类成员关系的可能性，如给定样本属于一个特定类的概率。

朴素贝叶斯分类^[2]假定了一个属性值对给定类的影响独立于其它属性的值，这一假定称作类条件独立。

设定数据样本用一个 n 维特征向量X={x₁，x₂，，x_n}表示，分别描述对n 个属性A₁，A₂，，A_n样本的 n 个度量。假定有m个类 C₁，C₂，，C_m 。给定一个未知的数据样本 X（即没有类标号），朴素贝叶斯分类分类法将预测 X 属于具有最高后验概率（条件 X 下）的类，当且仅当P(C_i | X)> P(C_j | X)，1≤j≤m，j≠i 这样，最大化P(C_i | X)。其中P(C_i | X)最大类C_i 称为最大后验假定，其原理为贝叶斯定理：

　　　公式(1)

由于P(X) 对于所有类为常数，只需要P(X | C_i)P(C_i)最大即可。并据此对P(C_i| X)最大化。否则，最大化P(X | C_i)P(C_i)。如果给定具有许多属性的数据集，计算P(X | C_i)P(C_i)的开销可能非常大。为降低计算P(X| C_i )的开销，可以做类条件独立的朴素假定。给定样本的类标号，假定属性值相互条件独立，即在属性间，不存在依赖关系，这样，

　　　公式(2)

概率，可以由训练样本估值：

(1) 如果A_k是分类属性，则P(x_k|C_i)=s_ik/s_i其中s_ik是A_k上具有值x_k的类C_i的训练样本数，而s_i是C_i中的训练样本数。

(2) 如果A_k是连续值属性，则通常假定该属性服从高斯分布。因而

公式(3)

其中，给定类C_i的训练样本属性A_k的值， 是属性A_k的高斯密度函数，而 分别为平均值和标准差。

朴素贝叶斯分类算法(以下称为NBC)具有最小的出错率。然而，实践中并非如此，这是由于对其应用假定（如类条件独立性）的不确定性，以及缺乏可用的概率数据造成的。主要表现为：

①不同的检测属性之间可能存在依赖关系，如protocol_type，src_bytes和dst_bytes三种属性之间总会存在一定的联系；

②当连续值属性分布是多态时，可能产生很明显的问题。在这种情况下，考虑分类问题涉及更加广泛，或者我们在做数据分析时应该考虑另一种数据分析。

后一种方法我们将在以下章节详细讨论。

核密度估计是一种普便的朴素贝叶斯方法，主要解决由每个连续值属性设为高斯分布所产生的问题，正如上一节所提到的。在^[3]文中，作者认为连续属性值更多是以核密度估计而不是高斯估计。

朴素贝叶斯核密度估计分类算法（以下称K-NBC）十分类似如NBC，除了在计算连续属性的概率 时：NBC是使用高斯密度函数来评估该属性，而K-NBC正如它的名字所说得一样，使用高斯核密度函数来评估属性。它的标准核密度公式为