Você precisa passar a saída de rxDTree() para rxPredict() (usando 'type' = 'prob') para obter as probabilidades de classe para cada Observação no seu dataset.
Aqui está um exemplo rápido usando o dataset 'íris':
# classification iris.sub <- c(sample(1:50, 25), sample(51:100, 25), sample(101:150, 25))
iris.dtree <- rxDTree(Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width,
data = iris[iris.sub, ], cp = 0.01)
iris.dtree
rxPredict(iris.dtree, iris[-iris.sub, ], type = "prob")
