Binäroperationen, Microsoft Docs
Parameter
Die Abmessungen x und y müssen (je nach Senderegeln. Siehe unten) entsprechen.
Für die drei Boolesche Operationen sind beiden Eingänge zu erwarten entweder 0 oder 1, da sonst das Verhalten der Funktionen ist nicht spezifiziert, und wird in der Tat in Bezug auf zukünftige Versionen sein.
Sparse-Werte werden derzeit nicht unterstützt.
Rückgabewert
Diese Funktionen geben das Ergebnis der entsprechenden Operationen. Die Beziehung Operatoren (Equal () usw.), und die drei booleschen Operationen Rückgabewerte, die entweder 0 oder 1 sind.
Die Ausgangsdimension oder tensor Form ist identisch mit denjenigen der Eingänge, vorbehaltlich Rundfunk, siehe unten.
Beschreibungen
Dies sind die gemeinsamen binären Operatoren. Sie werden angewendet element. (Beachten Sie, dass BrainScript der Operator * ist nicht element, sondern steht für das Matrixprodukt. Dies unterscheidet sich zum Beispiel aus Python numpy Bibliothek.)
Die Abmessungen der Eingänge müssen mit Ausnahme der Sende identisch sein.
Rundfunk Semantik
Rundfunk, ein Konzept, das CNTK Modell nach Python numpy Bibliothek bedeutet, dass eine Abmessung in einen der Eingänge 1 sein kann, wenn der andere Eingang der nicht. In diesem Fall wird der Eingang mit der 1-Dimension n mal kopiert werden, wobei n der entsprechenden anderen Eingangs der Dimension ist. Wenn die Tensor Reihen nicht übereinstimmen, wird der Tensor Form des Eingangs mit weniger Dimensionen angenommen 1 zu sein, und auslösen Rundfunk.
Zum Beispiel das Hinzufügen eines [13 x 1] Tensor a [1 x 42] würde einen Vektor [13 x 42] Vektor ergeben, der die Summen aller Kombinationen enthält.
Beziehung Operationen
Die Beziehung Operatoren (Equal () etc.) sind nicht differenzierbar, deren Steigung immer 0. betrachtet Sie können für Flaggen verwendet werden, z.B. als Bedingung Argument in dem If () -Betrieb.
Die LogPlus () Befehl berechnet die Summe der Werte in logarithmischer Form dargestellt. D. h es berechnet:
wobei x und y sind die Logarithmen der Werte. Dieser Vorgang ist nützlich, wenn mit Wahrscheinlichkeiten zu tun, die oft so klein, dass nur eine logarithmische Darstellung für entsprechende numerische Genauigkeit ermöglicht.
Hinweis: Eine andere gebräuchliche Bezeichnung für diesen Vorgang ist log-Add-exp, z.B. SciPy.
Standard Sigmoid Schicht
Diese Schicht verwendet die binäre + element:
Beachten Sie, dass * oben nicht element, sondern steht für das Matrixprodukt.
Alternative Implementierung von Softmax Aktivierung
Die Softmax () Aktivierungsfunktion kann unter Verwendung von Rundfunk-Minus geschrieben werden:
Hier ReduceLogSum () reduziert den Vektor z zu einem Skalar durch seine logarithmische Summe berechnet wird. Durch Rundfunk Semantik der Subtraktion wird diese skalare dann von jedem Eingangswert subtrahiert. Dies setzt die Division durch die Summe über alle Werte in der Softmax Funktion.
Max element von zwei Eingängen
Das elementweise maximal zwei Eingänge können als eine Kombination von grösserem (), und wenn () berechnet werden:
Dies funktioniert auch mit Ausstrahlung. Beispielsweise kann der Lineargleichrichter geschrieben werden, um mit dieser eine skalare Konstante als die zweite Eingabe verwenden: