{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "
DataSetInfo |
| |||
Add Tree TreeS of type Signal with 6000 events | ||||
DataSetInfo |
| |||
Add Tree TreeB of type Background with 6000 events |
Factory | Booking method: Cuts | ||||||||||||||||||||||
Use optimization method: \"Monte Carlo\" | |||||||||||||||||||||||
Use efficiency computation method: \"Event Selection\" | |||||||||||||||||||||||
Use \"FSmart\" cuts for variable: 'myvar1' | |||||||||||||||||||||||
Use \"FSmart\" cuts for variable: 'myvar2' | |||||||||||||||||||||||
Use \"FSmart\" cuts for variable: 'var3' | |||||||||||||||||||||||
Use \"FSmart\" cuts for variable: 'var4' | |||||||||||||||||||||||
Factory | Booking method: SVM | ||||||||||||||||||||||
SVM |
| ||||||||||||||||||||||
Norm | Transformation, Variable selection : | ||||||||||||||||||||||
Input : variable 'myvar1' <---> Output : variable 'myvar1' | |||||||||||||||||||||||
Input : variable 'myvar2' <---> Output : variable 'myvar2' | |||||||||||||||||||||||
Input : variable 'var3' <---> Output : variable 'var3' | |||||||||||||||||||||||
Input : variable 'var4' <---> Output : variable 'var4' | |||||||||||||||||||||||
Factory | Booking method: MLP | ||||||||||||||||||||||
MLP |
| ||||||||||||||||||||||
Norm | Transformation, Variable selection : | ||||||||||||||||||||||
Input : variable 'myvar1' <---> Output : variable 'myvar1' | |||||||||||||||||||||||
Input : variable 'myvar2' <---> Output : variable 'myvar2' | |||||||||||||||||||||||
Input : variable 'var3' <---> Output : variable 'var3' | |||||||||||||||||||||||
Input : variable 'var4' <---> Output : variable 'var4' | |||||||||||||||||||||||
MLP | Building Network. | ||||||||||||||||||||||
Initializing weights | |||||||||||||||||||||||
Factory | Booking method: LD | ||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||
| |||||||||||||||||||||||
DataSetInfo | Correlation matrix (Signal) | ||||||||||||||||||||||
DataSetInfo | Correlation matrix (Background) | ||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||
Factory | Booking method: DNN | ||||||||||||||||||||||
DNN |
| ||||||||||||||||||||||
Norm | Transformation, Variable selection : | ||||||||||||||||||||||
Input : variable 'myvar1' <---> Output : variable 'myvar1' | |||||||||||||||||||||||
Input : variable 'myvar2' <---> Output : variable 'myvar2' | |||||||||||||||||||||||
Input : variable 'var3' <---> Output : variable 'var3' | |||||||||||||||||||||||
Input : variable 'var4' <---> Output : variable 'var4' | |||||||||||||||||||||||
Factory | Booking method: Likelihood | ||||||||||||||||||||||
Factory | Booking method: BDT | ||||||||||||||||||||||
FitterBase | |||||||||||||||||||||||||||||||
Elapsed time : 7.18 sec | |||||||||||||||||||||||||||||||
Cuts | Cut values for requested signal efficiency: 0.1 | ||||||||||||||||||||||||||||||
Corresponding background efficiency : 0.0276667 | |||||||||||||||||||||||||||||||
Transformation applied to input variables : None | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Cuts | Cut values for requested signal efficiency: 0.2 | ||||||||||||||||||||||||||||||
Corresponding background efficiency : 0.0703333 | |||||||||||||||||||||||||||||||
Transformation applied to input variables : None | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Cuts | Cut values for requested signal efficiency: 0.3 | ||||||||||||||||||||||||||||||
Corresponding background efficiency : 0.112333 | |||||||||||||||||||||||||||||||
Transformation applied to input variables : None | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Cuts | Cut values for requested signal efficiency: 0.4 | ||||||||||||||||||||||||||||||
Corresponding background efficiency : 0.162667 | |||||||||||||||||||||||||||||||
Transformation applied to input variables : None | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Cuts | Cut values for requested signal efficiency: 0.5 | ||||||||||||||||||||||||||||||
Corresponding background efficiency : 0.218667 | |||||||||||||||||||||||||||||||
Transformation applied to input variables : None | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Cuts | Cut values for requested signal efficiency: 0.6 | ||||||||||||||||||||||||||||||
Corresponding background efficiency : 0.274333 | |||||||||||||||||||||||||||||||
Transformation applied to input variables : None | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Cuts | Cut values for requested signal efficiency: 0.7 | ||||||||||||||||||||||||||||||
Corresponding background efficiency : 0.34 | |||||||||||||||||||||||||||||||
Transformation applied to input variables : None | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Cuts | Cut values for requested signal efficiency: 0.8 | ||||||||||||||||||||||||||||||
Corresponding background efficiency : 0.421 | |||||||||||||||||||||||||||||||
Transformation applied to input variables : None | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Cuts | Cut values for requested signal efficiency: 0.9 | ||||||||||||||||||||||||||||||
Corresponding background efficiency : 0.507333 | |||||||||||||||||||||||||||||||
Transformation applied to input variables : None | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events : 7.19 sec | |||||||||||||||||||||||||||||||
Cuts |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.00187 sec | |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_Cuts.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_Cuts.class.C | |||||||||||||||||||||||||||||||
Write monitoring histograms to file: TMVA.root:/tmva_class_example/Method_Cuts/Cuts | |||||||||||||||||||||||||||||||
TFHandler_SVM |
| ||||||||||||||||||||||||||||||
Building SVM Working Set...with 6000 event instances | |||||||||||||||||||||||||||||||
Elapsed time for Working Set build : 1.22 sec | |||||||||||||||||||||||||||||||
Sorry, no computing time forecast available for SVM, please wait ... | |||||||||||||||||||||||||||||||
Elapsed time : 1.88 sec | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events : 3.12 sec | |||||||||||||||||||||||||||||||
SVM |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 1 sec | |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_SVM.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_SVM.class.C | |||||||||||||||||||||||||||||||
TFHandler_MLP |
| ||||||||||||||||||||||||||||||
Training Network | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events : 2.2 sec | |||||||||||||||||||||||||||||||
MLP |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.0112 sec | |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_MLP.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_MLP.class.C | |||||||||||||||||||||||||||||||
Write special histos to file: TMVA.root:/tmva_class_example/Method_MLP/MLP | |||||||||||||||||||||||||||||||
LD | Results for LD coefficients: | ||||||||||||||||||||||||||||||
Variable:Coefficient: | |||||||||||||||||||||||||||||||
myvar1:-0.359 | |||||||||||||||||||||||||||||||
myvar2:-0.109 | |||||||||||||||||||||||||||||||
var3:-0.211 | |||||||||||||||||||||||||||||||
var4:+0.722 | |||||||||||||||||||||||||||||||
(offset):-0.054 | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events : 0.00279 sec | |||||||||||||||||||||||||||||||
LD |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.00224 sec | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_LD.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_LD.class.C | |||||||||||||||||||||||||||||||
TFHandler_DNN |
| ||||||||||||||||||||||||||||||
TFHandler_DNN |
| ||||||||||||||||||||||||||||||
TFHandler_DNN |
| ||||||||||||||||||||||||||||||
Add Layer with 100 nodes. | |||||||||||||||||||||||||||||||
Add Layer with 50 nodes. | |||||||||||||||||||||||||||||||
Add Layer with 10 nodes. | |||||||||||||||||||||||||||||||
Add Layer with 1 nodes. | |||||||||||||||||||||||||||||||
Total number of Synapses = 6010 | |||||||||||||||||||||||||||||||
Training with learning rate = 0.1, momentum = 0, repetitions = 1 | |||||||||||||||||||||||||||||||
Drop configuration | |||||||||||||||||||||||||||||||
drop repetitions = 1 | |||||||||||||||||||||||||||||||
Layer 0 = 0 | |||||||||||||||||||||||||||||||
Layer 1 = 0.5 | |||||||||||||||||||||||||||||||
Layer 2 = 0.5 | |||||||||||||||||||||||||||||||
Layer 3 = 0.5 | |||||||||||||||||||||||||||||||
Training with learning rate = 0.01, momentum = 0.5, repetitions = 1 | |||||||||||||||||||||||||||||||
Drop configuration | |||||||||||||||||||||||||||||||
drop repetitions = 1 | |||||||||||||||||||||||||||||||
Layer 0 = 0 | |||||||||||||||||||||||||||||||
Layer 1 = 0.1 | |||||||||||||||||||||||||||||||
Layer 2 = 0.1 | |||||||||||||||||||||||||||||||
Layer 3 = 0.1 | |||||||||||||||||||||||||||||||
Training with learning rate = 0.01, momentum = 0.3, repetitions = 1 | |||||||||||||||||||||||||||||||
Training with learning rate = 0.001, momentum = 0.1, repetitions = 1 | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events : 5.08 sec | |||||||||||||||||||||||||||||||
DNN |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.21 sec | |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_DNN.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_DNN.class.C | |||||||||||||||||||||||||||||||
Write monitoring histograms to file: TMVA.root:/tmva_class_example/Method_DNN/DNN | |||||||||||||||||||||||||||||||
================================================================ | |||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
--- Short description: | |||||||||||||||||||||||||||||||
The maximum-likelihood classifier models the data with probability | |||||||||||||||||||||||||||||||
density functions (PDF) reproducing the signal and background | |||||||||||||||||||||||||||||||
distributions of the input variables. Correlations among the | |||||||||||||||||||||||||||||||
variables are ignored. | |||||||||||||||||||||||||||||||
--- Performance optimisation: | |||||||||||||||||||||||||||||||
Required for good performance are decorrelated input variables | |||||||||||||||||||||||||||||||
(PCA transformation via the option \"VarTransform=Decorrelate\" | |||||||||||||||||||||||||||||||
may be tried). Irreducible non-linear correlations may be reduced | |||||||||||||||||||||||||||||||
by precombining strongly correlated input variables, or by simply | |||||||||||||||||||||||||||||||
removing one of the variables. | |||||||||||||||||||||||||||||||
--- Performance tuning via configuration options: | |||||||||||||||||||||||||||||||
High fidelity PDF estimates are mandatory, i.e., sufficient training | |||||||||||||||||||||||||||||||
statistics is required to populate the tails of the distributions | |||||||||||||||||||||||||||||||
It would be a surprise if the default Spline or KDE kernel parameters | |||||||||||||||||||||||||||||||
provide a satisfying fit to the data. The user is advised to properly | |||||||||||||||||||||||||||||||
tune the events per bin and smooth options in the spline cases | |||||||||||||||||||||||||||||||
individually per variable. If the KDE kernel is used, the adaptive | |||||||||||||||||||||||||||||||
Gaussian kernel may lead to artefacts, so please always also try | |||||||||||||||||||||||||||||||
the non-adaptive one. | |||||||||||||||||||||||||||||||
All tuning parameters must be adjusted individually for each input | |||||||||||||||||||||||||||||||
variable! | |||||||||||||||||||||||||||||||
================================================================ | |||||||||||||||||||||||||||||||
Filling reference histograms | |||||||||||||||||||||||||||||||
Building PDF out of reference histograms | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events : 0.0403 sec | |||||||||||||||||||||||||||||||
Likelihood |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.009 sec | |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_Likelihood.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_Likelihood.class.C | |||||||||||||||||||||||||||||||
Write monitoring histograms to file: TMVA.root:/tmva_class_example/Method_Likelihood/Likelihood | |||||||||||||||||||||||||||||||
BDT | #events: (reweighted) sig: 3000 bkg: 3000 | ||||||||||||||||||||||||||||||
#events: (unweighted) sig: 3000 bkg: 3000 | |||||||||||||||||||||||||||||||
Training 850 Decision Trees ... patience please | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events : 2.28 sec | |||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.673 sec | |||||||||||||||||||||||||||||||
Creating xml weight file: tmva_class_example/weights/TMVAClassification_BDT.weights.xml | |||||||||||||||||||||||||||||||
Creating standalone class: tmva_class_example/weights/TMVAClassification_BDT.class.C |