{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "
DataSetInfo |
| |||
Add Tree TreeS of type Signal with 6000 events | ||||
DataSetInfo |
| |||
Add Tree TreeB of type Background with 6000 events |
Factory | Booking method: SVM | ||||||||||||||||||||||
SVM |
| ||||||||||||||||||||||
Norm | Transformation, Variable selection : | ||||||||||||||||||||||
Input : variable 'myvar1' <---> Output : variable 'myvar1' | |||||||||||||||||||||||
Input : variable 'myvar2' <---> Output : variable 'myvar2' | |||||||||||||||||||||||
Input : variable 'var3' <---> Output : variable 'var3' | |||||||||||||||||||||||
Input : variable 'var4' <---> Output : variable 'var4' | |||||||||||||||||||||||
Factory | Booking method: MLP | ||||||||||||||||||||||
MLP |
| ||||||||||||||||||||||
Norm | Transformation, Variable selection : | ||||||||||||||||||||||
Input : variable 'myvar1' <---> Output : variable 'myvar1' | |||||||||||||||||||||||
Input : variable 'myvar2' <---> Output : variable 'myvar2' | |||||||||||||||||||||||
Input : variable 'var3' <---> Output : variable 'var3' | |||||||||||||||||||||||
Input : variable 'var4' <---> Output : variable 'var4' | |||||||||||||||||||||||
MLP | Building Network. | ||||||||||||||||||||||
Initializing weights | |||||||||||||||||||||||
Factory | Booking method: LD | ||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||
| |||||||||||||||||||||||
DataSetInfo | Correlation matrix (Signal) | ||||||||||||||||||||||
DataSetInfo | Correlation matrix (Background) | ||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||
Factory | Booking method: DNN | ||||||||||||||||||||||
DNN |
| ||||||||||||||||||||||
Norm | Transformation, Variable selection : | ||||||||||||||||||||||
Input : variable 'myvar1' <---> Output : variable 'myvar1' | |||||||||||||||||||||||
Input : variable 'myvar2' <---> Output : variable 'myvar2' | |||||||||||||||||||||||
Input : variable 'var3' <---> Output : variable 'var3' | |||||||||||||||||||||||
Input : variable 'var4' <---> Output : variable 'var4' | |||||||||||||||||||||||
Factory | Booking method: Likelihood | ||||||||||||||||||||||
Factory | Booking method: BDT | ||||||||||||||||||||||
TFHandler_SVM |
| ||||||||||||||||||||||||||||||
Building SVM Working Set...with 6000 event instances | |||||||||||||||||||||||||||||||
Elapsed time for Working Set build: 1.24 sec | |||||||||||||||||||||||||||||||
Sorry, no computing time forecast available for SVM, please wait ... | |||||||||||||||||||||||||||||||
Elapsed time: 7.25 sec | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events: 8.52 sec | |||||||||||||||||||||||||||||||
SVM |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 1.04 sec | |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_SVM.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_SVM.class.C | |||||||||||||||||||||||||||||||
TFHandler_MLP |
| ||||||||||||||||||||||||||||||
Training Network | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events: 4.01 sec | |||||||||||||||||||||||||||||||
MLP |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 0.012 sec | |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_MLP.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_MLP.class.C | |||||||||||||||||||||||||||||||
Write special histos to file: TMVA.root:/tmva_class_example/Method_MLP/MLP | |||||||||||||||||||||||||||||||
LD | Results for LD coefficients: | ||||||||||||||||||||||||||||||
Variable:Coefficient: | |||||||||||||||||||||||||||||||
myvar1:-0.359 | |||||||||||||||||||||||||||||||
myvar2:-0.109 | |||||||||||||||||||||||||||||||
var3:-0.211 | |||||||||||||||||||||||||||||||
var4:+0.722 | |||||||||||||||||||||||||||||||
(offset):-0.054 | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events: 0.00764 sec | |||||||||||||||||||||||||||||||
LD |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 0.003 sec | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_LD.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_LD.class.C | |||||||||||||||||||||||||||||||
TFHandler_DNN |
| ||||||||||||||||||||||||||||||
TFHandler_DNN |
| ||||||||||||||||||||||||||||||
TFHandler_DNN |
| ||||||||||||||||||||||||||||||
Add Layer with 100 nodes. | |||||||||||||||||||||||||||||||
Add Layer with 50 nodes. | |||||||||||||||||||||||||||||||
Add Layer with 10 nodes. | |||||||||||||||||||||||||||||||
Add Layer with 1 nodes. | |||||||||||||||||||||||||||||||
Total number of Synapses = 6010 | |||||||||||||||||||||||||||||||
Training with learning rate = 0.1, momentum = 0, repetitions = 1 | |||||||||||||||||||||||||||||||
Drop configuration | |||||||||||||||||||||||||||||||
drop repetitions = 1 | |||||||||||||||||||||||||||||||
Layer 0 = 0 | |||||||||||||||||||||||||||||||
Layer 1 = 0.5 | |||||||||||||||||||||||||||||||
Layer 2 = 0.5 | |||||||||||||||||||||||||||||||
Layer 3 = 0.5 | |||||||||||||||||||||||||||||||
learning rate reduced to 0.05 | |||||||||||||||||||||||||||||||
Training with learning rate = 0.01, momentum = 0.5, repetitions = 1 | |||||||||||||||||||||||||||||||
Drop configuration | |||||||||||||||||||||||||||||||
drop repetitions = 1 | |||||||||||||||||||||||||||||||
Layer 0 = 0 | |||||||||||||||||||||||||||||||
Layer 1 = 0.1 | |||||||||||||||||||||||||||||||
Layer 2 = 0.1 | |||||||||||||||||||||||||||||||
Layer 3 = 0.1 | |||||||||||||||||||||||||||||||
Training with learning rate = 0.01, momentum = 0.3, repetitions = 1 | |||||||||||||||||||||||||||||||
Training with learning rate = 0.001, momentum = 0.1, repetitions = 1 | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events: 18.2 sec | |||||||||||||||||||||||||||||||
DNN |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 0.223 sec | |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_DNN.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_DNN.class.C | |||||||||||||||||||||||||||||||
Write monitoring histograms to file: TMVA.root:/tmva_class_example/Method_DNN/DNN | |||||||||||||||||||||||||||||||
================================================================ | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
--- Short description: | |||||||||||||||||||||||||||||||
The maximum-likelihood classifier models the data with probability | |||||||||||||||||||||||||||||||
density functions (PDF) reproducing the signal and background | |||||||||||||||||||||||||||||||
distributions of the input variables. Correlations among the | |||||||||||||||||||||||||||||||
variables are ignored. | |||||||||||||||||||||||||||||||
--- Performance optimisation: | |||||||||||||||||||||||||||||||
Required for good performance are decorrelated input variables | |||||||||||||||||||||||||||||||
(PCA transformation via the option \"VarTransform=Decorrelate\" | |||||||||||||||||||||||||||||||
may be tried). Irreducible non-linear correlations may be reduced | |||||||||||||||||||||||||||||||
by precombining strongly correlated input variables, or by simply | |||||||||||||||||||||||||||||||
removing one of the variables. | |||||||||||||||||||||||||||||||
--- Performance tuning via configuration options: | |||||||||||||||||||||||||||||||
High fidelity PDF estimates are mandatory, i.e., sufficient training | |||||||||||||||||||||||||||||||
statistics is required to populate the tails of the distributions | |||||||||||||||||||||||||||||||
It would be a surprise if the default Spline or KDE kernel parameters | |||||||||||||||||||||||||||||||
provide a satisfying fit to the data. The user is advised to properly | |||||||||||||||||||||||||||||||
tune the events per bin and smooth options in the spline cases | |||||||||||||||||||||||||||||||
individually per variable. If the KDE kernel is used, the adaptive | |||||||||||||||||||||||||||||||
Gaussian kernel may lead to artefacts, so please always also try | |||||||||||||||||||||||||||||||
the non-adaptive one. | |||||||||||||||||||||||||||||||
All tuning parameters must be adjusted individually for each input | |||||||||||||||||||||||||||||||
variable! | |||||||||||||||||||||||||||||||
================================================================ | |||||||||||||||||||||||||||||||
Filling reference histograms | |||||||||||||||||||||||||||||||
Building PDF out of reference histograms | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events: 0.0384 sec | |||||||||||||||||||||||||||||||
Likelihood |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 0.00767 sec | |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_Likelihood.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_Likelihood.class.C | |||||||||||||||||||||||||||||||
Write monitoring histograms to file: TMVA.root:/tmva_class_example/Method_Likelihood/Likelihood | |||||||||||||||||||||||||||||||
BDT | #events: (reweighted) sig: 3000 bkg: 3000 | ||||||||||||||||||||||||||||||
#events: (unweighted) sig: 3000 bkg: 3000 | |||||||||||||||||||||||||||||||
Training 850 Decision Trees ... patience please | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events: 2.13 sec | |||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 0.824 sec | |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_BDT.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_BDT.class.C |
Factory | Test method: SVM for Classification performance | ||||||||||||||||||||||||||||||
SVM |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 0.994 sec | |||||||||||||||||||||||||||||||
Factory | Test method: MLP for Classification performance | ||||||||||||||||||||||||||||||
MLP |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 0.00914 sec | |||||||||||||||||||||||||||||||
Factory | Test method: LD for Classification performance | ||||||||||||||||||||||||||||||
LD |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 0.00178 sec | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Factory | Test method: DNN for Classification performance | ||||||||||||||||||||||||||||||
DNN |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 0.205 sec | |||||||||||||||||||||||||||||||
Factory | Test method: Likelihood for Classification performance | ||||||||||||||||||||||||||||||
Likelihood |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 0.0074 sec | |||||||||||||||||||||||||||||||
Factory | Test method: BDT for Classification performance | ||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events: 0.758 sec | |||||||||||||||||||||||||||||||
Factory | Evaluate classifier: SVM | ||||||||||||||||||||||||||||||
TFHandler_SVM |
| ||||||||||||||||||||||||||||||
SVM |
| ||||||||||||||||||||||||||||||
TFHandler_SVM |
| ||||||||||||||||||||||||||||||
Factory | Evaluate classifier: MLP | ||||||||||||||||||||||||||||||
TFHandler_MLP |
| ||||||||||||||||||||||||||||||
MLP |
| ||||||||||||||||||||||||||||||
TFHandler_MLP |
| ||||||||||||||||||||||||||||||
Factory | Evaluate classifier: LD | ||||||||||||||||||||||||||||||
LD |
| ||||||||||||||||||||||||||||||
Also filling probability and rarity histograms (on request)... | |||||||||||||||||||||||||||||||
TFHandler_LD |
| ||||||||||||||||||||||||||||||
Factory | Evaluate classifier: DNN | ||||||||||||||||||||||||||||||
DNN |
| ||||||||||||||||||||||||||||||
TFHandler_DNN |
| ||||||||||||||||||||||||||||||
Factory | Evaluate classifier: Likelihood | ||||||||||||||||||||||||||||||
Likelihood |
| ||||||||||||||||||||||||||||||
TFHandler_Likelihood |
| ||||||||||||||||||||||||||||||
Factory | Evaluate classifier: BDT | ||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
TFHandler_BDT |
| ||||||||||||||||||||||||||||||
Evaluation results ranked by best signal efficiency and purity (area) | |||||||||||||||||||||||||||||||
DataSet MVA | |||||||||||||||||||||||||||||||
Name: Method: ROC-integ | |||||||||||||||||||||||||||||||
tmva_class_example MLP : 0.939 | |||||||||||||||||||||||||||||||
tmva_class_example DNN : 0.937 | |||||||||||||||||||||||||||||||
tmva_class_example SVM : 0.937 | |||||||||||||||||||||||||||||||
tmva_class_example BDT : 0.931 | |||||||||||||||||||||||||||||||
tmva_class_example LD : 0.895 | |||||||||||||||||||||||||||||||
tmva_class_example Likelihood : 0.827 | |||||||||||||||||||||||||||||||
Testing efficiency compared to training efficiency (overtraining check) | |||||||||||||||||||||||||||||||
DataSet MVA Signal efficiency: from test sample (from training sample) | |||||||||||||||||||||||||||||||
Name: Method: @B=0.01 @B=0.10 @B=0.30 | |||||||||||||||||||||||||||||||
tmva_class_example MLP : 0.395 (0.345) 0.805 (0.795) 0.964 (0.966) | |||||||||||||||||||||||||||||||
tmva_class_example DNN : 0.362 (0.305) 0.801 (0.786) 0.962 (0.962) | |||||||||||||||||||||||||||||||
tmva_class_example SVM : 0.397 (0.323) 0.801 (0.791) 0.960 (0.960) | |||||||||||||||||||||||||||||||
tmva_class_example BDT : 0.350 (0.380) 0.778 (0.805) 0.955 (0.959) | |||||||||||||||||||||||||||||||
tmva_class_example LD : 0.261 (0.242) 0.679 (0.662) 0.901 (0.903) | |||||||||||||||||||||||||||||||
tmva_class_example Likelihood : 0.106 (0.101) 0.400 (0.371) 0.812 (0.813) | |||||||||||||||||||||||||||||||
Factory | Thank you for using TMVA! | ||||||||||||||||||||||||||||||
For citation information, please visit: http://tmva.sf.net/citeTMVA.html |
Keyword | Can be used as positional argument | Default | Predefined values | Description |
---|---|---|---|---|
datasetName | \n", "yes, 1. | \n", "- | \n", "- | \n", "The name of dataset | \n", "
methodName | \n", "yes, 2. | \n", "- | \n", "- | \n", "The name of method | \n", "
Keyword | Can be used as positional argument | Default | Predefined values | Description |
---|---|---|---|---|
datasetName | \n", "yes, 1. | \n", "- | \n", "- | \n", "The name of dataset | \n", "
Keyword | Can be used as positional argument | Default | Predefined values | Description |
---|---|---|---|---|
datasetName | \n", "yes, 1. | \n", "- | \n", "- | \n", "The name of dataset | \n", "
Keyword | Can be used as positional argument | Default | Predefined values | Description |
---|---|---|---|---|
datasetName | \n", "yes, 1. | \n", "- | \n", "- | \n", "The name of dataset | \n", "
methodName | \n", "yes, 2. | \n", "- | \n", "- | \n", "The name of method | \n", "