Logistic function

Average Accuracy: 99.8% → 99.8%

Time: 12.8s

Precision: binary32

Cost: 6880

\[0 \leq s \land s \leq 1.0651631\]

Math

\[\frac{1}{1 + e^{\frac{-x}{s}}} \]

↓

\[\frac{1}{1 + \frac{e^{\frac{x \cdot -0.6666666666666666}{s}}}{e^{\frac{x}{s} \cdot 0.3333333333333333}}} \]

FPCore

(FPCore (x s) :precision binary32 (/ 1.0 (+ 1.0 (exp (/ (- x) s)))))

↓

(FPCore (x s)
 :precision binary32
 (/
  1.0
  (+
   1.0
   (/
    (exp (/ (* x -0.6666666666666666) s))
    (exp (* (/ x s) 0.3333333333333333))))))

C

float code(float x, float s) {
	return 1.0f / (1.0f + expf((-x / s)));
}

↓

float code(float x, float s) {
	return 1.0f / (1.0f + (expf(((x * -0.6666666666666666f) / s)) / expf(((x / s) * 0.3333333333333333f))));
}

Fortran

real(4) function code(x, s)
    real(4), intent (in) :: x
    real(4), intent (in) :: s
    code = 1.0e0 / (1.0e0 + exp((-x / s)))
end function

↓

real(4) function code(x, s)
    real(4), intent (in) :: x
    real(4), intent (in) :: s
    code = 1.0e0 / (1.0e0 + (exp(((x * (-0.6666666666666666e0)) / s)) / exp(((x / s) * 0.3333333333333333e0))))
end function

Julia

function code(x, s)
	return Float32(Float32(1.0) / Float32(Float32(1.0) + exp(Float32(Float32(-x) / s))))
end

↓

function code(x, s)
	return Float32(Float32(1.0) / Float32(Float32(1.0) + Float32(exp(Float32(Float32(x * Float32(-0.6666666666666666)) / s)) / exp(Float32(Float32(x / s) * Float32(0.3333333333333333))))))
end

MATLAB

function tmp = code(x, s)
	tmp = single(1.0) / (single(1.0) + exp((-x / s)));
end

↓

function tmp = code(x, s)
	tmp = single(1.0) / (single(1.0) + (exp(((x * single(-0.6666666666666666)) / s)) / exp(((x / s) * single(0.3333333333333333)))));
end

Derivation

1. Initial program 99.8%

   \[\frac{1}{1 + e^{\frac{-x}{s}}} \]

2. Applied egg-rr 99.7%

   \[\leadsto \frac{1}{1 + \color{blue}{\frac{\frac{1}{{\left(\sqrt[3]{e^{\frac{x}{s}}}\right)}^{2}}}{\sqrt[3]{e^{\frac{x}{s}}}}}} \]

3. Applied egg-rr 99.7%

   \[\leadsto \frac{1}{1 + \frac{\color{blue}{e^{\mathsf{log1p}\left({\left(\sqrt[3]{e^{\frac{x}{s}}}\right)}^{-2}\right)} - 1}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]

4. Simplified 99.8%

   \[\leadsto \frac{1}{1 + \frac{\color{blue}{{\left(e^{-0.6666666666666666}\right)}^{\left(\frac{x}{s}\right)}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   Proof

   [Start] 99.7	\[ \frac{1}{1 + \frac{e^{\mathsf{log1p}\left({\left(\sqrt[3]{e^{\frac{x}{s}}}\right)}^{-2}\right)} - 1}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   expm1-def [=>] 99.7	\[ \frac{1}{1 + \frac{\color{blue}{\mathsf{expm1}\left(\mathsf{log1p}\left({\left(\sqrt[3]{e^{\frac{x}{s}}}\right)}^{-2}\right)\right)}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   expm1-log1p [=>] 99.7	\[ \frac{1}{1 + \frac{\color{blue}{{\left(\sqrt[3]{e^{\frac{x}{s}}}\right)}^{-2}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   unpow1/3 [<=] 99.7	\[ \frac{1}{1 + \frac{{\color{blue}{\left({\left(e^{\frac{x}{s}}\right)}^{0.3333333333333333}\right)}}^{-2}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   exp-prod [<=] 99.7	\[ \frac{1}{1 + \frac{{\color{blue}{\left(e^{\frac{x}{s} \cdot 0.3333333333333333}\right)}}^{-2}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   *-commutative [<=] 99.7	\[ \frac{1}{1 + \frac{{\left(e^{\color{blue}{0.3333333333333333 \cdot \frac{x}{s}}}\right)}^{-2}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   exp-prod [<=] 99.8	\[ \frac{1}{1 + \frac{\color{blue}{e^{\left(0.3333333333333333 \cdot \frac{x}{s}\right) \cdot -2}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   *-commutative [=>] 99.8	\[ \frac{1}{1 + \frac{e^{\color{blue}{-2 \cdot \left(0.3333333333333333 \cdot \frac{x}{s}\right)}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   associate-*r* [=>] 99.8	\[ \frac{1}{1 + \frac{e^{\color{blue}{\left(-2 \cdot 0.3333333333333333\right) \cdot \frac{x}{s}}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   metadata-eval [=>] 99.8	\[ \frac{1}{1 + \frac{e^{\color{blue}{-0.6666666666666666} \cdot \frac{x}{s}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   exp-prod [=>] 99.8	\[ \frac{1}{1 + \frac{\color{blue}{{\left(e^{-0.6666666666666666}\right)}^{\left(\frac{x}{s}\right)}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]

5. Taylor expanded in x around inf 99.8%

   \[\leadsto \frac{1}{1 + \frac{\color{blue}{e^{-0.6666666666666666 \cdot \frac{x}{s}}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]

6. Simplified 99.8%

   \[\leadsto \frac{1}{1 + \frac{\color{blue}{e^{\frac{x \cdot -0.6666666666666666}{s}}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   Proof

   [Start] 99.8	\[ \frac{1}{1 + \frac{e^{-0.6666666666666666 \cdot \frac{x}{s}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   associate-*r/ [=>] 99.8	\[ \frac{1}{1 + \frac{e^{\color{blue}{\frac{-0.6666666666666666 \cdot x}{s}}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]
   *-commutative [=>] 99.8	\[ \frac{1}{1 + \frac{e^{\frac{\color{blue}{x \cdot -0.6666666666666666}}{s}}}{\sqrt[3]{e^{\frac{x}{s}}}}} \]

7. Applied egg-rr 99.8%

   \[\leadsto \frac{1}{1 + \frac{e^{\frac{x \cdot -0.6666666666666666}{s}}}{\color{blue}{e^{\frac{x}{s} \cdot 0.3333333333333333}}}} \]

8. Final simplification 99.8%

   \[\leadsto \frac{1}{1 + \frac{e^{\frac{x \cdot -0.6666666666666666}{s}}}{e^{\frac{x}{s} \cdot 0.3333333333333333}}} \]

Alternatives

Alternative 1
Accuracy	99.8%
Cost	6880

\[\frac{1}{1 + e^{\frac{x}{\frac{s}{-0.6666666666666666}}} \cdot e^{\frac{x}{s} \cdot -0.3333333333333333}} \]

Alternative 2
Accuracy	99.8%
Cost	3456

\[\frac{1}{1 + e^{\frac{-x}{s}}} \]

Alternative 3
Accuracy	65.2%
Cost	580

\[\begin{array}{l} \mathbf{if}\;\frac{-x}{s} \leq 0.5:\\ \;\;\;\;0.5\\ \mathbf{else}:\\ \;\;\;\;\frac{s \cdot 2}{\frac{x}{1 + \left(\frac{s}{x} + -1\right)}}\\ \end{array} \]

Alternative 4
Accuracy	65.2%
Cost	388

\[\begin{array}{l} \mathbf{if}\;\frac{-x}{s} \leq 50:\\ \;\;\;\;0.5\\ \mathbf{else}:\\ \;\;\;\;1 + \left(\frac{s}{x} + -1\right)\\ \end{array} \]

Alternative 5
Accuracy	47.7%
Cost	356

\[\begin{array}{l} t_0 := \frac{-x}{s}\\ \mathbf{if}\;t_0 \leq 0.5:\\ \;\;\;\;0.5\\ \mathbf{else}:\\ \;\;\;\;\frac{1}{t_0}\\ \end{array} \]

Alternative 6
Accuracy	46.1%
Cost	164

\[\begin{array}{l} \mathbf{if}\;x \leq -0.0010000000474974513:\\ \;\;\;\;\frac{s}{x}\\ \mathbf{else}:\\ \;\;\;\;0.5\\ \end{array} \]

Alternative 7
Accuracy	34.9%
Cost	32

\[0.5 \]

Reproduce

herbie shell --seed 2023129 
(FPCore (x s)
  :name "Logistic function"
  :precision binary32
  :pre (and (<= 0.0 s) (<= s 1.0651631))
  (/ 1.0 (+ 1.0 (exp (/ (- x) s)))))