{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "
Option | Default | Predefined values | Description |
---|---|---|---|
V | \n", "False | \n", "- | \n", "Verbose flag | \n", "
Color | \n", "True | \n", "- | \n", "Flag for colored output | \n", "
Transformations | \n", "\"\" | \n", "- | \n", "List of transformations to test. For example with \"I;D;P;U;G\" string identity, decorrelation, PCA, uniform and Gaussian transformations will be applied | \n", "
Silent | \n", "False | \n", "- | \n", "Batch mode: boolean silent flag inhibiting\n", "any output from TMVA after\n", "the creation of the factory class object | \n", "
DrawProgressBar | \n", "True | \n", "- | \n", "Draw progress bar to display training,\n", "testing and evaluation schedule (default:\n", "True) | \n", "
AnalysisType | \n", "Auto | \n", "Classification,\n", "Regression,\n", "Multiclass, Auto | \n", "Set the analysis type | \n", "
Keyword | Can be used as positional argument | Default | Predefined values | Description |
---|---|---|---|---|
JobName | \n", "yes, 1. | \n", "not optional | \n", "- | \n", "Name of job | \n", "
TargetFile | \n", "yes, 2. | \n", "if not passed histograms won't be saved | \n", "- | \n", "File to write control and performance histograms histograms | \n", "
V | \n", "no | \n", "False | \n", "- | \n", "Verbose flag | \n", "
Color | \n", "no | \n", "\n", "True | \n", "- | \n", "Flag for colored output | \n", "
Transformations | \n", "no | \n", "\n", "\"\" | \n", "- | \n", "List of transformations to test. For example with \"I;D;P;U;G\" string identity, decorrelation, PCA, uniform and Gaussian transformations will be applied | \n", "
Silent | \n", "no | \n", "\n", "False | \n", "\n", "- | \n", "Batch mode: boolean silent flag inhibiting\n", "any output from TMVA after\n", "the creation of the factory class object | \n", "
DrawProgressBar | \n", "no | \n", "\n", "True | \n", "- | \n", "Draw progress bar to display training,\n", "testing and evaluation schedule (default:\n", "True) | \n", "
AnalysisType | \n", "no | \n", "\n", "Auto | \n", "Classification,\n", "Regression,\n", "Multiclass, Auto | \n", "Set the analysis type | \n", "
Keyword | \n", "Can be used as positional argument | \n", "Default | \n", "Predefined values | \n", "Description | \n", "
---|---|---|---|---|
SigCut | \n", "yes, 1. | \n", "- | \n", "- | \n", "TCut object for signal cut | \n", "
Bkg | \n", "yes, 2. | \n", "- | \n", "- | \n", "TCut object for background cut | \n", "
SplitMode | \n", "no | \n", "Random | \n", "Random,\n", "Alternate,\n", "Block | \n", "Method of picking training and testing\n", "events | \n", "
MixMode | \n", "no | \n", "SameAsSplitMode | \n", "SameAsSplitMode,\n", "Random,\n", "Alternate,\n", "Block | \n", "Method of mixing events of differnt\n", "classes into one dataset | \n", "
SplitSeed | \n", "no | \n", "100 | \n", "- | \n", "Seed for random event shuffling | \n", "
NormMode | \n", "no | \n", "EqualNumEvents | \n", "None, NumEvents,\n", "EqualNumEvents | \n", "Overall renormalisation of event-by-event\n", "weights used in the training (NumEvents:\n", "average weight of 1 per\n", "event, independently for signal and\n", "background; EqualNumEvents: average\n", "weight of 1 per event for signal,\n", "and sum of weights for background\n", "equal to sum of weights for signal) | \n", "
nTrain_Signal | \n", "no | \n", "0 (all) | \n", "- | \n", "Number of training events of class Signal | \n", "
nTest_Signal | \n", "no | \n", "0 (all) | \n", "- | \n", "Number of test events of class Signal | \n", "
nTrain_Background | \n", "no | \n", "0 (all) | \n", "- | \n", "Number of training events of class\n", "Background | \n", "
nTest_Background | \n", "no | \n", "0 (all) | \n", "- | \n", "Number of test events of class Background | \n", "
V | \n", "no | \n", "False | \n", "- | \n", "Verbosity | \n", "
VerboseLevel | \n", "no | \n", "Info | \n", "Debug, Verbose,\n", "Info | \n", "Verbosity level | \n", "
Keyword | \n", "Can be used as positional argument | \n", "Default | \n", "Predefined values | \n", "Description | \n", "
---|---|---|---|---|
DataLoader | \n", "yes, 1. | \n", "- | \n", "- | \n", "Pointer to DataLoader object | \n", "
Method | \n", "yes, 2. | \n", "- | \n", "kVariable\n", " kCuts ,\n", " kLikelihood ,\n", " kPDERS ,\n", " kHMatrix ,\n", " kFisher ,\n", " kKNN ,\n", " kCFMlpANN ,\n", " kTMlpANN ,\n", " kBDT ,\n", " kDT ,\n", " kRuleFit ,\n", " kSVM ,\n", " kMLP ,\n", " kBayesClassifier,\n", " kFDA ,\n", " kBoost ,\n", " kPDEFoam ,\n", " kLD ,\n", " kPlugins ,\n", " kCategory ,\n", " kDNN ,\n", " kPyRandomForest ,\n", " kPyAdaBoost ,\n", " kPyGTB ,\n", " kC50 ,\n", " kRSNNS ,\n", " kRSVM ,\n", " kRXGB ,\n", " kMaxMethod | \n", "Selected method number, method numbers defined in TMVA.Types | \n", "
MethodTitle | \n", "yes, 3. | \n", "- | \n", "- | \n", "Label for method | \n", "
* | \n", "no | \n", "- | \n", "- | \n", "Other named arguments which are the options for selected method. | \n", "
Keyword | \n", "Can be used as positional argument | \n", "Default | \n", "Predefined values | \n", "Description | \n", "
---|---|---|---|---|
DataLoader | \n", "yes, 1. | \n", "- | \n", "- | \n", "Pointer to DataLoader object | \n", "
VIType | \n", "yes, 2. | \n", "- | \n", "- | \n", "Variable Importance type | \n", "
Method | \n", "yes, 3. | \n", "- | \n", "kVariable\n", " kCuts ,\n", " kLikelihood ,\n", " kPDERS ,\n", " kHMatrix ,\n", " kFisher ,\n", " kKNN ,\n", " kCFMlpANN ,\n", " kTMlpANN ,\n", " kBDT ,\n", " kDT ,\n", " kRuleFit ,\n", " kSVM ,\n", " kMLP ,\n", " kBayesClassifier,\n", " kFDA ,\n", " kBoost ,\n", " kPDEFoam ,\n", " kLD ,\n", " kPlugins ,\n", " kCategory ,\n", " kDNN ,\n", " kPyRandomForest ,\n", " kPyAdaBoost ,\n", " kPyGTB ,\n", " kC50 ,\n", " kRSNNS ,\n", " kRSVM ,\n", " kRXGB ,\n", " kMaxMethod | \n", "Selected method number, method numbers defined in TMVA.Types | \n", "
MethodTitle | \n", "yes, 4. | \n", "- | \n", "- | \n", "Label for method | \n", "
V | \n", "no | \n", "False | \n", "- | \n", "Verbose | \n", "
NTrees | \n", "no | \n", "\n", " | \n", " | NTrees | \n", "
MinNodeSize | \n", "no | \n", "\n", " | \n", " | MinNodeSize | \n", "
MaxDepth | \n", "no | \n", "\n", " | \n", " | MaxDepth | \n", "
BoostType | \n", "no | \n", "\n", " | \n", " | BoostType | \n", "
AdaBoostBeta | \n", "no | \n", "\n", " | \n", " | AdaBoostBeta | \n", "
UseBaggedBoost | \n", "no | \n", "\n", " | \n", " | UseBaggedBoost | \n", "
BaggedSampleFraction | \n", "no | \n", "\n", " | \n", " | \n", " |
SeparationType | \n", "no | \n", "\n", " | \n", " | \n", " |
nCuts | \n", "no | \n", "\n", " | \n", " | nCuts | \n", "
Evaluation results ranked by best signal efficiency and purity (area) | |||||||||||||||||||||||||||||||
DataSet MVA | |||||||||||||||||||||||||||||||
Name: Method: ROC-integ | |||||||||||||||||||||||||||||||
00000000000000000000000000001111 BDT : 0.830 | |||||||||||||||||||||||||||||||
Testing efficiency compared to training efficiency (overtraining check) | |||||||||||||||||||||||||||||||
DataSet MVA Signal efficiency: from test sample (from training sample) | |||||||||||||||||||||||||||||||
Name: Method: @B=0.01 @B=0.10 @B=0.30 | |||||||||||||||||||||||||||||||
00000000000000000000000000001111 BDT : 0.000 (0.000) 0.000 (0.000) 0.866 (0.871) | |||||||||||||||||||||||||||||||
Factory | Evaluate classifier: MLP | ||||||||||||||||||||||||||||||
TFHandler_MLP |
| ||||||||||||||||||||||||||||||
MLP |
| ||||||||||||||||||||||||||||||
Evaluation results ranked by best signal efficiency and purity (area) | |||||||||||||||||||||||||||||||
DataSet MVA | |||||||||||||||||||||||||||||||
Name: Method: ROC-integ | |||||||||||||||||||||||||||||||
tmva_class_example MLP : 0.939 | |||||||||||||||||||||||||||||||
Testing efficiency compared to training efficiency (overtraining check) | |||||||||||||||||||||||||||||||
DataSet MVA Signal efficiency: from test sample (from training sample) | |||||||||||||||||||||||||||||||
Name: Method: @B=0.01 @B=0.10 @B=0.30 | |||||||||||||||||||||||||||||||
tmva_class_example MLP : 0.382 (0.349) 0.802 (0.794) 0.964 (0.966) | |||||||||||||||||||||||||||||||
Factory | Thank you for using TMVA!\u001b | ||||||||||||||||||||||||||||||
For citation information, please visit: http://tmva.sf.net/citeTMVA.html\u001b | |||||||||||||||||||||||||||||||
DataSetInfo |
| ||||||||||||||||||||||||||||||
Add Tree TreeS of type Signal with 6000 events | |||||||||||||||||||||||||||||||
DataSetInfo |
| ||||||||||||||||||||||||||||||
Add Tree TreeB of type Background with 6000 events | |||||||||||||||||||||||||||||||
Factory | Booking method: BDT\u001b | ||||||||||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
DataSetInfo | Correlation matrix (Signal) | ||||||||||||||||||||||||||||||
DataSetInfo | Correlation matrix (Background) | ||||||||||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||||||||||
Factory | Train method: BDT for Classification | ||||||||||||||||||||||||||||||
BDT | #events: (reweighted) sig: 3000 bkg: 3000 | ||||||||||||||||||||||||||||||
#events: (unweighted) sig: 3000 bkg: 3000 | |||||||||||||||||||||||||||||||
Training 5 Decision Trees ... patience please | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events : 0.018 sec\u001b | |||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.00555 sec\u001b | |||||||||||||||||||||||||||||||
Factory | Training finished | ||||||||||||||||||||||||||||||
Ranking input variables (method specific)... | |||||||||||||||||||||||||||||||
BDT | Ranking result (top variable is best ranked) | ||||||||||||||||||||||||||||||
Rank : Variable : Variable Importance | |||||||||||||||||||||||||||||||
1 : var4 : 7.847e-01 | |||||||||||||||||||||||||||||||
2 : var3 : 2.153e-01 | |||||||||||||||||||||||||||||||
3 : var1-var2 : 0.000e+00 | |||||||||||||||||||||||||||||||
Factory | Test method: BDT for Classification performance | ||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.00515 sec\u001b | |||||||||||||||||||||||||||||||
Factory | Evaluate classifier: BDT | ||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Evaluation results ranked by best signal efficiency and purity (area) | |||||||||||||||||||||||||||||||
DataSet MVA | |||||||||||||||||||||||||||||||
Name: Method: ROC-integ | |||||||||||||||||||||||||||||||
00000000000000000000000000001110 BDT : 0.790 | |||||||||||||||||||||||||||||||
Testing efficiency compared to training efficiency (overtraining check) | |||||||||||||||||||||||||||||||
DataSet MVA Signal efficiency: from test sample (from training sample) | |||||||||||||||||||||||||||||||
Name: Method: @B=0.01 @B=0.10 @B=0.30 | |||||||||||||||||||||||||||||||
00000000000000000000000000001110 BDT : 0.000 (0.000) 0.000 (0.000) 0.769 (0.786) | |||||||||||||||||||||||||||||||
Factory | Thank you for using TMVA!\u001b | ||||||||||||||||||||||||||||||
For citation information, please visit: http://tmva.sf.net/citeTMVA.html\u001b | |||||||||||||||||||||||||||||||
DataSetInfo |
| ||||||||||||||||||||||||||||||
Add Tree TreeS of type Signal with 6000 events | |||||||||||||||||||||||||||||||
DataSetInfo |
| ||||||||||||||||||||||||||||||
Add Tree TreeB of type Background with 6000 events | |||||||||||||||||||||||||||||||
Factory | Booking method: BDT\u001b | ||||||||||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
DataSetInfo | Correlation matrix (Signal) | ||||||||||||||||||||||||||||||
DataSetInfo | Correlation matrix (Background) | ||||||||||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||||||||||
Factory | Train method: BDT for Classification | ||||||||||||||||||||||||||||||
BDT | #events: (reweighted) sig: 3000 bkg: 3000 | ||||||||||||||||||||||||||||||
#events: (unweighted) sig: 3000 bkg: 3000 | |||||||||||||||||||||||||||||||
Training 5 Decision Trees ... patience please | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events : 0.0175 sec\u001b | |||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.00503 sec\u001b | |||||||||||||||||||||||||||||||
Factory | Training finished | ||||||||||||||||||||||||||||||
Ranking input variables (method specific)... | |||||||||||||||||||||||||||||||
BDT | Ranking result (top variable is best ranked) | ||||||||||||||||||||||||||||||
Rank : Variable : Variable Importance | |||||||||||||||||||||||||||||||
1 : var4 : 6.324e-01 | |||||||||||||||||||||||||||||||
2 : var1+var2 : 3.662e-01 | |||||||||||||||||||||||||||||||
3 : var3 : 1.458e-03 | |||||||||||||||||||||||||||||||
Factory | Test method: BDT for Classification performance | ||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.00549 sec\u001b | |||||||||||||||||||||||||||||||
Factory | Evaluate classifier: BDT | ||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Evaluation results ranked by best signal efficiency and purity (area) | |||||||||||||||||||||||||||||||
DataSet MVA | |||||||||||||||||||||||||||||||
Name: Method: ROC-integ | |||||||||||||||||||||||||||||||
00000000000000000000000000001101 BDT : 0.830 | |||||||||||||||||||||||||||||||
Testing efficiency compared to training efficiency (overtraining check) | |||||||||||||||||||||||||||||||
DataSet MVA Signal efficiency: from test sample (from training sample) | |||||||||||||||||||||||||||||||
Name: Method: @B=0.01 @B=0.10 @B=0.30 | |||||||||||||||||||||||||||||||
00000000000000000000000000001101 BDT : 0.000 (0.000) 0.000 (0.000) 0.866 (0.871) | |||||||||||||||||||||||||||||||
Factory | Thank you for using TMVA!\u001b | ||||||||||||||||||||||||||||||
For citation information, please visit: http://tmva.sf.net/citeTMVA.html\u001b | |||||||||||||||||||||||||||||||
DataSetInfo |
| ||||||||||||||||||||||||||||||
Add Tree TreeS of type Signal with 6000 events | |||||||||||||||||||||||||||||||
DataSetInfo |
| ||||||||||||||||||||||||||||||
Add Tree TreeB of type Background with 6000 events | |||||||||||||||||||||||||||||||
Factory | Booking method: BDT\u001b | ||||||||||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
DataSetInfo | Correlation matrix (Signal) | ||||||||||||||||||||||||||||||
DataSetInfo | Correlation matrix (Background) | ||||||||||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||||||||||
Factory | Train method: BDT for Classification | ||||||||||||||||||||||||||||||
BDT | #events: (reweighted) sig: 3000 bkg: 3000 | ||||||||||||||||||||||||||||||
#events: (unweighted) sig: 3000 bkg: 3000 | |||||||||||||||||||||||||||||||
Training 5 Decision Trees ... patience please | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events : 0.0191 sec\u001b | |||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.00532 sec\u001b | |||||||||||||||||||||||||||||||
Factory | Training finished | ||||||||||||||||||||||||||||||
Ranking input variables (method specific)... | |||||||||||||||||||||||||||||||
BDT | Ranking result (top variable is best ranked) | ||||||||||||||||||||||||||||||
Rank : Variable : Variable Importance | |||||||||||||||||||||||||||||||
1 : var4 : 6.333e-01 | |||||||||||||||||||||||||||||||
2 : var1+var2 : 3.667e-01 | |||||||||||||||||||||||||||||||
3 : var1-var2 : 0.000e+00 | |||||||||||||||||||||||||||||||
Factory | Test method: BDT for Classification performance | ||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.00483 sec\u001b | |||||||||||||||||||||||||||||||
Factory | Evaluate classifier: BDT | ||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Evaluation results ranked by best signal efficiency and purity (area) | |||||||||||||||||||||||||||||||
DataSet MVA | |||||||||||||||||||||||||||||||
Name: Method: ROC-integ | |||||||||||||||||||||||||||||||
00000000000000000000000000001011 BDT : 0.830 | |||||||||||||||||||||||||||||||
Testing efficiency compared to training efficiency (overtraining check) | |||||||||||||||||||||||||||||||
DataSet MVA Signal efficiency: from test sample (from training sample) | |||||||||||||||||||||||||||||||
Name: Method: @B=0.01 @B=0.10 @B=0.30 | |||||||||||||||||||||||||||||||
00000000000000000000000000001011 BDT : 0.000 (0.000) 0.000 (0.000) 0.866 (0.871) | |||||||||||||||||||||||||||||||
Factory | Thank you for using TMVA!\u001b | ||||||||||||||||||||||||||||||
For citation information, please visit: http://tmva.sf.net/citeTMVA.html\u001b | |||||||||||||||||||||||||||||||
DataSetInfo |
| ||||||||||||||||||||||||||||||
Add Tree TreeS of type Signal with 6000 events | |||||||||||||||||||||||||||||||
DataSetInfo |
| ||||||||||||||||||||||||||||||
Add Tree TreeB of type Background with 6000 events | |||||||||||||||||||||||||||||||
Factory | Booking method: BDT\u001b | ||||||||||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||
DataSetInfo | Correlation matrix (Signal) | ||||||||||||||||||||||||||||||
DataSetInfo | Correlation matrix (Background) | ||||||||||||||||||||||||||||||
DataSetFactory |
| ||||||||||||||||||||||||||||||
Factory | Train method: BDT for Classification | ||||||||||||||||||||||||||||||
BDT | #events: (reweighted) sig: 3000 bkg: 3000 | ||||||||||||||||||||||||||||||
#events: (unweighted) sig: 3000 bkg: 3000 | |||||||||||||||||||||||||||||||
Training 5 Decision Trees ... patience please | |||||||||||||||||||||||||||||||
Elapsed time for training with 6000 events : 0.0205 sec\u001b | |||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.00517 sec\u001b | |||||||||||||||||||||||||||||||
Factory | Training finished | ||||||||||||||||||||||||||||||
Ranking input variables (method specific)... | |||||||||||||||||||||||||||||||
BDT | Ranking result (top variable is best ranked) | ||||||||||||||||||||||||||||||
Rank : Variable : Variable Importance | |||||||||||||||||||||||||||||||
1 : var1+var2 : 6.781e-01 | |||||||||||||||||||||||||||||||
2 : var3 : 3.219e-01 | |||||||||||||||||||||||||||||||
3 : var1-var2 : 0.000e+00 | |||||||||||||||||||||||||||||||
Factory | Test method: BDT for Classification performance | ||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Elapsed time for evaluation of 6000 events : 0.00503 sec\u001b | |||||||||||||||||||||||||||||||
Factory | Evaluate classifier: BDT | ||||||||||||||||||||||||||||||
BDT |
| ||||||||||||||||||||||||||||||
Evaluation results ranked by best signal efficiency and purity (area) | |||||||||||||||||||||||||||||||
DataSet MVA | |||||||||||||||||||||||||||||||
Name: Method: ROC-integ | |||||||||||||||||||||||||||||||
00000000000000000000000000000111 BDT : 0.780 | |||||||||||||||||||||||||||||||
Testing efficiency compared to training efficiency (overtraining check) | |||||||||||||||||||||||||||||||
DataSet MVA Signal efficiency: from test sample (from training sample) | |||||||||||||||||||||||||||||||
Name: Method: @B=0.01 @B=0.10 @B=0.30 | |||||||||||||||||||||||||||||||
00000000000000000000000000000111 BDT : 0.000 (0.000) 0.000 (0.000) 0.000 (0.000) | |||||||||||||||||||||||||||||||
Factory | Thank you for using TMVA!\u001b | ||||||||||||||||||||||||||||||
For citation information, please visit: http://tmva.sf.net/citeTMVA.html\u001b | |||||||||||||||||||||||||||||||
--- Variable Importance Results (Short) | |||||||||||||||||||||||||||||||
--- var1+var2 = 43.9596 % | |||||||||||||||||||||||||||||||
--- var1-var2 = 0 % | |||||||||||||||||||||||||||||||
--- var3 = 0 % | |||||||||||||||||||||||||||||||
--- var4 = 56.0404 % |