Operations Research ( im britischen Englisch : operation research ), oft abgekürzt mit OR , ist ein Teilgebiet der angewandten Mathematik, das sich mit der Entwicklung und Anwendung analytischer Methoden zur Verbesserung von Management und Entscheidungsfindung befasst. [ 1 ] [ 2 ] Der Begriff Managementwissenschaft wird gelegentlich synonym verwendet. [ 3 ]
Die Operationsforschung nutzt Techniken aus anderen mathematischen Wissenschaften wie Modellierung , Statistik und Optimierung , um optimale oder nahezu optimale Lösungen für Entscheidungsprobleme zu finden . Aufgrund ihrer Praxisorientierung überschneidet sie sich mit vielen anderen Disziplinen, insbesondere mit dem Wirtschaftsingenieurwesen . Die Operationsforschung befasst sich häufig mit der Bestimmung der Extremwerte realer Ziele: dem Maximum (von Gewinn, Leistung oder Ertrag) oder dem Minimum (von Verlust, Risiko oder Kosten). Ursprünglich im militärischen Bereich vor dem Zweiten Weltkrieg entwickelt , finden ihre Techniken heute Anwendung in einer Vielzahl von Branchen. [ 4 ]
Überblick
Operations Research (OR) umfasst die Entwicklung und Anwendung einer breiten Palette von Problemlösungstechniken und -methoden zur Verbesserung von Entscheidungsfindung und Effizienz. Dazu gehören Simulation , mathematische Optimierung , Warteschlangentheorie und andere stochastische Prozessmodelle , Markov-Entscheidungsprozesse , ökonometrische Methoden , Data Envelopment Analysis (DEA) , der ordinale Prioritätsansatz , neuronale Netze , Expertensysteme , Entscheidungsanalyse und der analytische Hierarchieprozess (AHP) . [ 5 ] Nahezu alle diese Techniken beinhalten die Erstellung mathematischer Modelle zur Beschreibung des Systems. Aufgrund des rechnerischen und statistischen Charakters der meisten dieser Bereiche ist OR eng mit Informatik und Datenanalyse verknüpft. Operationsforscher müssen bei neuen Problemen entscheiden, welche dieser Techniken angesichts der Systembeschaffenheit, der Verbesserungsziele und der zeitlichen und rechentechnischen Beschränkungen am besten geeignet sind, oder eine neue, problemspezifische Technik entwickeln (und diese später auf ähnliche Problemtypen anwenden).
Die wichtigsten Teildisziplinen (jedoch nicht ausschließlich) der modernen Operationsforschung, wie sie von der Zeitschrift Operations Research [ 6 ] und dem Journal of the Operational Research Society [ 7 ] identifiziert wurden, sind:
- Computer- und Informationstechnologien
- Finanztechnik
- Fertigung , Dienstleistungswissenschaften und Lieferkettenmanagement
- Politikmodellierung und Arbeit im öffentlichen Sektor
- Umsatzmanagement
- Simulation
- Stochastische Modelle
- Transporttheorie
- Spieltheorie für Strategien
- Lineare Programmierung
- Nichtlineare Programmierung
- Ganzzahlige Programmierung in NP-vollständigen Problemen , insbesondere für 0-1-ganzzahlige lineare Programmierung für Binärdaten.
- Dynamische Programmierung in der Luft- und Raumfahrttechnik und Wirtschaftswissenschaften
- Informationstheorie in der Kryptographie und im Quantencomputing
- Quadratische Programmierung zur Lösung quadratischer Gleichungen und quadratischer Funktionen
Geschichte
In den Jahrzehnten nach den beiden Weltkriegen fanden die Methoden der Operationsforschung breitere Anwendung in Wirtschaft, Industrie und Gesellschaft. Seitdem hat sich die Operationsforschung zu einem weit verbreiteten Forschungsfeld entwickelt, das in Branchen von der Petrochemie über Fluggesellschaften, Finanzwesen und Logistik bis hin zum öffentlichen Sektor Anwendung findet. Der Fokus liegt dabei auf der Entwicklung mathematischer Modelle zur Analyse und Optimierung teils komplexer Systeme. Die Operationsforschung ist zu einem aktiven Forschungsgebiet in Wissenschaft und Industrie geworden. [ 4 ]
Historische Ursprünge
Im 17. Jahrhundert lösten die Mathematiker Blaise Pascal und Christiaan Huygens Probleme mit teils komplexen Entscheidungen ( Punktproblem ) mithilfe spieltheoretischer Ideen und Erwartungswerte ; andere, wie Pierre de Fermat und Jacob Bernoulli , nutzten stattdessen kombinatorische Methoden . [ 8 ] Charles Babbages Forschung zu den Kosten des Transports und der Sortierung von Post führte 1840 zur Einführung der allgemeinen „Penny Post“ in England und zu Studien über das dynamische Verhalten von Eisenbahnfahrzeugen zur Verteidigung der Breitspur der Great Western Railway ( GWR) . [ 9 ] Die Bestandsverwaltung, die zu Beginn des 20. Jahrhunderts untersucht wurde, kann als Ursprung des modernen Operations Research betrachtet werden. Die optimale Bestellmenge (EQ ) wurde 1913 von Ford W. Harris entwickelt. Percy Bridgman wandte Operations Research in den 1920er Jahren auf Probleme der Physik an und versuchte später, diese auf die Sozialwissenschaften auszudehnen. [ 10 ]
Die moderne operationelle Forschung entstand 1937 an der Bawdsey Research Station in Großbritannien auf Initiative des Stationsleiters A. P. Rowe und Robert Watson-Watt . [ 11 ] Rowe entwickelte die Idee, um die Funktionsweise des britischen Frühwarnradarsystems mit dem Codenamen „ Chain Home “ (CH) zu analysieren und zu verbessern. Zunächst analysierte Rowe den Betrieb der Radargeräte und ihrer Kommunikationsnetze und bezog später auch das Verhalten des Bedienpersonals mit ein. Dies deckte zuvor nicht erkannte Schwächen des CH-Netzwerks auf und ermöglichte die Einleitung von Korrekturmaßnahmen. [ 12 ]
Wissenschaftler im Vereinigten Königreich (darunter Patrick Blackett (später Lord Blackett OM PRS), Cecil Gordon , Solly Zuckerman (später Baron Zuckerman OM, KCB, FRS), CH Waddington , Owen Wansbrough-Jones , Frank Yates , Jacob Bronowski und Freeman Dyson ) und in den Vereinigten Staaten ( George Dantzig ) suchten nach Möglichkeiten, bessere Entscheidungen in Bereichen wie Logistik und Trainingsplanung zu treffen.
Zweiter Weltkrieg
Das moderne Feld der Operationsforschung entstand während des Zweiten Weltkriegs. In dieser Zeit wurde Operationsforschung definiert als „eine wissenschaftliche Methode, die Exekutivbehörden eine quantitative Grundlage für Entscheidungen über die ihnen unterstellten Operationen bietet“ [ 13 ] . Weitere Bezeichnungen dafür waren unter anderem operative Analyse (britisches Verteidigungsministerium ab 1962) [ 14 ] und quantitatives Management [ 15 ] .
Während des Zweiten Weltkriegs waren in Großbritannien fast 1000 Männer und Frauen in der Operationsforschung tätig. Rund 200 Operationsforscher arbeiteten für die britische Armee . [ 16 ]
Patrick Blackett arbeitete während des Krieges für verschiedene Organisationen. Zu Beginn des Krieges gründete er, während seiner Tätigkeit für die Royal Aircraft Establishment (RAE), ein Team namens „Circus“, das dazu beitrug, die Anzahl der benötigten Flugabwehrartilleriegeschosse zum Abschuss eines feindlichen Flugzeugs von durchschnittlich über 20.000 zu Beginn der Luftschlacht um England auf 4.000 im Jahr 1941 zu reduzieren. [ 17 ]

1941 wechselte Blackett von der RAE zur Marine, nachdem er zunächst 1941 beim RAF Coastal Command und Anfang 1942 bei der Admiralität gearbeitet hatte . [ 18 ] Zu Blacketts Team in der Operational Research Section (CC-ORS) des Coastal Command gehörten E. J. Williams , [ 19 ] zwei spätere Nobelpreisträger und viele weitere Persönlichkeiten, die in ihren Fachgebieten herausragende Leistungen erbrachten. [ 20 ] [ 21 ] Sie führten eine Reihe entscheidender Analysen durch, die den Kriegseinsatz unterstützten. Großbritannien führte das Konvoisystem ein, um die Verluste der Schifffahrt zu reduzieren. Obwohl das Prinzip, Handelsschiffe mit Kriegsschiffen zu begleiten, allgemein akzeptiert war, blieb unklar, ob kleine oder große Konvois vorteilhafter wären. Da Konvois mit der Geschwindigkeit ihres langsamsten Mitglieds fahren, können kleine Konvois schneller unterwegs sein. Zudem wurde argumentiert, dass kleine Konvois für deutsche U-Boote schwerer aufzuspüren wären. Andererseits könnten große Konvois mehr Kriegsschiffe gegen einen Angreifer einsetzen. Blacketts Mitarbeiter zeigten, dass die Verluste von Konvois hauptsächlich von der Anzahl der Begleitschiffe und weniger von der Größe des Konvois abhingen. Sie kamen zu dem Schluss, dass wenige große Konvois besser zu verteidigen sind als viele kleine. [ 22 ]
Bei der Analyse der Methoden des RAF Coastal Command zur U-Boot-Jagd und -Zerstörung fragte einer der Analysten nach der Farbe der Flugzeuge. Da die meisten vom Bomber Command stammten, waren sie für Nachteinsätze schwarz lackiert. Auf Anregung des CC-ORS wurde ein Test durchgeführt, um zu prüfen, ob Schwarz die beste Tarnfarbe für Tageseinsätze im grauen Nordatlantikhimmel sei. Die Tests ergaben, dass weiß lackierte Flugzeuge im Durchschnitt erst 20 % näher entdeckt wurden als schwarz lackierte. Dies bedeutete, dass bei gleicher Anzahl an Sichtungen 30 % mehr U-Boote angegriffen und versenkt werden könnten. [ 23 ] Aufgrund dieser Ergebnisse stellte das Coastal Command die Lackierung seiner Flugzeuge auf weiße Unterseiten um.
Weitere Untersuchungen des CC-ORS ergaben, dass sich die Trefferquote im Durchschnitt erhöhen würde, wenn die Auslösetiefe von aus der Luft abgeworfenen Wasserbomben von 100 auf 25 Fuß reduziert würde. Der Grund dafür war, dass die Bomben in 100 Fuß Tiefe keinen Schaden anrichten würden, wenn ein U-Boot ein Flugzeug erst kurz vor dessen Ankunft über dem Ziel sichtete (da das U-Boot nicht genügend Zeit gehabt hätte, so tief zu tauchen). Sichtete es das Flugzeug hingegen in großer Entfernung vom Ziel, hatte es Zeit, unter Wasser den Kurs zu ändern, sodass die Wahrscheinlichkeit, sich innerhalb der 20-Fuß-Sperrzone der Bomben zu befinden, gering war. Es war effizienter, U-Boote nahe der Oberfläche anzugreifen, wenn ihre Positionen besser bekannt waren, als sie in größeren Tiefen zu zerstören, wenn ihre Positionen nur vermutet werden konnten. Vor der Änderung der Einstellungen von 100 auf 25 Fuß wurden 1 % der getauchten U-Boote versenkt und 14 % beschädigt. Nach der Änderung sanken die Werte auf 7 % Versenkung und 11 % Beschädigung. Wenn U-Boote an der Oberfläche entdeckt wurden, aber kurz vor dem Angriff noch abtauchen konnten, stieg die Zahl der versenkten U-Boote auf 11 % und die der beschädigten auf 15 %. Blackett bemerkte dazu: „Es dürfte nur wenige Fälle geben, in denen durch eine so kleine und einfache Taktikänderung ein so großer operativer Gewinn erzielt wurde.“ [ 24 ]

Die Abteilung für operative Forschung des Bomber Command (BC-ORS) analysierte einen Bericht einer Untersuchung des RAF Bomber Command . Im Rahmen dieser Untersuchung inspizierte das Bomber Command alle Bomber, die von Einsätzen über Deutschland innerhalb eines bestimmten Zeitraums zurückkehrten. Sämtliche Schäden durch die deutsche Luftabwehr wurden erfasst, und es wurde empfohlen, die am stärksten beschädigten Bereiche zusätzlich zu panzern. Diese Empfehlung wurde jedoch nicht umgesetzt, da die Tatsache, dass die Flugzeuge trotz dieser Schäden zurückkehren konnten, darauf hindeutete, dass diese Bereiche nicht lebenswichtig waren. Eine zusätzliche Panzerung an nicht lebenswichtigen Bereichen, bei denen Schäden akzeptabel sind, würde die Flugleistung beeinträchtigen. Auch der Vorschlag, einen Teil der Besatzung abzuziehen, um die Verluste bei einem Flugzeugverlust zu minimieren, wurde vom RAF-Kommando abgelehnt. Blacketts Team empfahl daraufhin logischerweise, die Panzerung an den unbeschädigten Bereichen der zurückkehrenden Bomber anzubringen. Sie argumentierten, die Untersuchung sei voreingenommen, da sie nur nach Großbritannien zurückkehrende Flugzeuge berücksichtigte. Die unbeschädigten Bereiche der zurückkehrenden Flugzeuge seien wahrscheinlich lebenswichtige Bereiche gewesen, deren Treffer zum Verlust des Flugzeugs geführt hätten. [ 25 ] Abraham Wald und die Statistical Research Group der Columbia University führten eine ähnliche Schadensbewertungsstudie durch. [ 26 ] [ 27 ]
Als Deutschland seine Luftverteidigung in der Kammhuber-Linie organisierte , erkannten die Briten, dass die RAF-Bomber, wenn sie in einem Bomberverband flogen , die Nachtjäger, die in einzelnen Zellen von Bodenlotsen zu ihren Zielen geleitet wurden, überwältigen konnten. Es galt nun, die statistischen Verluste durch Kollisionen den statistischen Verlusten durch die Nachtjäger gegenüberzustellen, um zu berechnen, wie nah die Bomber fliegen mussten, um die Verluste der RAF zu minimieren. [ 28 ]
Das Verhältnis von Output zu Input, das als „Austauschverhältnis“ bezeichnet wird, war ein charakteristisches Merkmal der Operationsforschung. Durch den Vergleich der Flugstunden alliierter Flugzeuge mit der Anzahl der U-Boot-Sichtungen in einem bestimmten Gebiet konnten Flugzeuge in produktivere Patrouillengebiete verlegt werden. Der Vergleich dieser Austauschverhältnisse ermöglichte die Ermittlung von „Effektivitätsquoten“, die für die Planung nützlich waren. Das Verhältnis von 60 gelegten Minen pro versenktem Schiff war in mehreren Feldzügen üblich: deutsche Minen in britischen Häfen, britische Minen auf deutschen Routen und amerikanische Minen auf japanischen Routen. [ 29 ]
Einsatzforschung verdoppelte die Trefferquote der B-29- Bomber , die Japan von den Marianen aus bombardierten , indem der Anteil der Flugstunden für die Ausbildung von 4 auf 10 Prozent erhöht wurde; sie zeigte, dass U-Boot-Rudel aus drei US-amerikanischen U-Booten die effektivste Größe darstellten, um allen Mitgliedern des Rudels den Angriff auf Ziele an ihren jeweiligen Patrouillenstationen zu ermöglichen; sie zeigte, dass glänzender Emaillelack eine effektivere Tarnung für Nachtjäger bot als herkömmliche matte Tarnanstriche und dass eine glatte Lackierung die Fluggeschwindigkeit durch Verringerung der Oberflächenreibung erhöhte. [ 29 ]
An Land landeten die operativen Forschungsabteilungen der Army Operational Research Group (AORG) des Versorgungsministeriums (MoS) 1944 in der Normandie und begleiteten die britischen Streitkräfte bei ihrem Vormarsch durch Europa. Sie analysierten unter anderem die Effektivität von Artillerie, Luftangriffen und Panzerabwehr.
Nach dem Zweiten Weltkrieg
1947 wurde unter der Schirmherrschaft der British Association ein Symposium in Dundee organisiert . In seiner Eröffnungsrede definierte Watson-Watt die Ziele der Operations Research:
- „Um quantitativ zu prüfen, ob die Nutzerorganisation durch den Betrieb ihrer Geräte den bestmöglichen Beitrag zu ihrem Gesamtziel erzielt.“ [ 11 ]
Mit erweiterten Techniken und einem wachsenden Bewusstsein für das Gebiet nach Kriegsende beschränkte sich die Operationsforschung nicht mehr nur auf operative Angelegenheiten, sondern umfasste nun auch die Beschaffung von Ausrüstung, Ausbildung, Logistik und Infrastruktur. Die Operationsforschung erfuhr auch in vielen anderen Bereichen außerhalb des Militärs ein Wachstum, nachdem Wissenschaftler gelernt hatten, ihre Prinzipien auf den zivilen Sektor anzuwenden. Die Entwicklung des Simplex-Algorithmus für die lineare Programmierung erfolgte im Jahr 1947. [ 30 ]
In den 1950er Jahren wurde der Begriff Operations Research (OR) zur Beschreibung heterogener mathematischer Methoden wie Spieltheorie , dynamischer Programmierung, linearer Programmierung, Lagerhaltung, Ersatzteiltheorie , Warteschlangentheorie , Simulation und Produktionssteuerung verwendet, die vorwiegend in der zivilen Industrie Anwendung fanden. Wissenschaftliche Gesellschaften und Fachzeitschriften zum Thema Operations Research wurden in den 1950er Jahren gegründet, darunter die Operation Research Society of America (ORSA) im Jahr 1952 und das Institute for Management Science (TIMS) im Jahr 1953. [ 31 ] Philip Morse, Leiter der Weapons Systems Evaluation Group des Pentagons, wurde erster Präsident der ORSA und gewann Unternehmen des militärisch-industriellen Komplexes für die ORSA, die bald über 500 Mitglieder zählte. In den 1960er Jahren erreichte die ORSA 8000 Mitglieder. Auch Beratungsunternehmen gründeten OR-Gruppen. 1953 veröffentlichten Abraham Charnes und William Cooper das erste Lehrbuch zur linearen Programmierung.
In den 1950er und 1960er Jahren wurden in den USA und Großbritannien (ab 1964 in Lancaster) Lehrstühle für Operations Research an den Managementfakultäten der Universitäten eingerichtet. Weitere Einflüsse der USA auf die Entwicklung des Operations Research in Westeuropa lassen sich hier nachvollziehen. Die maßgeblichen Lehrbücher des Operations Research aus den USA erschienen in Deutschland auf Deutsch und in Frankreich auf Französisch (jedoch nicht auf Italienisch), darunter George Dantzigs „Linear Programming“ (1963) und C. West Churchman et al.s „Introduction to Operations Research“ (1957). Letzteres wurde 1973 auch auf Spanisch veröffentlicht und erschloss so gleichzeitig auch lateinamerikanischen Lesern das Operations Research. Die NATO gab wichtige Impulse für die Verbreitung des Operations Research in Westeuropa; das NATO-Hauptquartier (SHAPE) organisierte in den 1950er Jahren vier Konferenzen zu diesem Thema – die Konferenz von 1956 mit 120 Teilnehmern – und trug so maßgeblich dazu bei, das Operations Research auf dem europäischen Festland bekannt zu machen. Innerhalb der NATO war Operations Research (OR) auch als „Wissenschaftliche Beratung“ (SA) bekannt und in der Beratungsgruppe für Luftfahrtforschung und -entwicklung (AGARD) zusammengefasst. SHAPE und AGARD organisierten im April 1957 eine OR-Konferenz in Paris. Mit dem Austritt Frankreichs aus der NATO-Militärführung und der Verlegung des NATO-Hauptquartiers nach Belgien wurde OR in Belgien institutionalisiert. Dort gründete Jacques Drèze 1966 an der Katholischen Universität Leuven das CORE, das Zentrum für Operations Research und Ökonometrie .
Mit der Entwicklung von Computern in den nächsten drei Jahrzehnten kann die Operationsforschung nun Probleme mit Hunderttausenden von Variablen und Nebenbedingungen lösen. Darüber hinaus lassen sich die für solche Probleme benötigten großen Datenmengen heute sehr effizient speichern und verarbeiten. [ 30 ] Ein Großteil der Operationsforschung (heute als „Analytics“ bekannt) basiert auf stochastischen Variablen und damit auf dem Zugriff auf echte Zufallszahlen. Glücklicherweise benötigte auch die Kybernetik dasselbe Maß an Zufälligkeit. Die Entwicklung immer besserer Zufallszahlengeneratoren war für beide Disziplinen ein Segen. Moderne Anwendungsgebiete der Operationsforschung umfassen Stadtplanung, Fußballstrategien, Notfallplanung, die Optimierung aller Bereiche von Industrie und Wirtschaft sowie – mit hoher Wahrscheinlichkeit – die Planung von Terroranschlägen und definitiv die Planung von Terrorabwehrmaßnahmen. In jüngerer Zeit wurde der Forschungsansatz der Operationsforschung, der bis in die 1950er-Jahre zurückreicht, dafür kritisiert, dass er zwar aus mathematischen Modellen besteht, aber eine empirische Grundlage für die Datenerhebung in den Anwendungen vermissen lässt. Wie Daten erhoben werden, wird in den Lehrbüchern nicht behandelt. Aufgrund des Datenmangels finden sich in den Lehrbüchern auch keine Computeranwendungen. [ 32 ]
Angegangene Probleme
- Kritische Pfadanalyse oder Projektplanung : Identifizierung derjenigen Prozesse in einem Projekt mit mehreren Abhängigkeiten, die die Gesamtdauer des Projekts beeinflussen.
- Floorplanning : die Gestaltung des Layouts von Anlagen in einer Fabrik oder von Komponenten auf einem Computerchip , um die Fertigungszeit (und damit die Kosten) zu verkürzen .
- Netzwerkoptimierung : beispielsweise die Einrichtung von Telekommunikations- oder Stromnetzen zur Aufrechterhaltung der Dienstqualität bei Ausfällen.
- Ressourcenzuweisungsprobleme
- Standort der Anlage
- Aufgabenstellungen:
- Bayes'sche Suchtheorie : Suche nach einem Ziel
- Optimale Suche
- Routenplanung , beispielsweise die Festlegung der Busrouten, um möglichst wenige Busse zu benötigen.
- Lieferkettenmanagement : Steuerung des Rohstoff- und Produktflusses auf Basis einer unsicheren Nachfrage nach den Fertigprodukten.
- Projektproduktionsaktivitäten: Steuerung des Arbeitsablaufs in einem Investitionsprojekt als Reaktion auf Systemvariabilität durch Methoden der Operationsforschung zur Reduzierung der Variabilität und zur Pufferallokation unter Verwendung einer Kombination aus Kapazitäts-, Lager- und Zeitallokation [ 33 ] [ 34 ]
- Effiziente Kommunikations- und Kundenreaktionstaktiken
- Automatisierung : Automatisierung oder Integration von Robotersystemen in von Menschen gesteuerte Betriebsprozesse
- Globalisierung : Die Globalisierung von Betriebsprozessen, um von günstigeren Materialien, Arbeitskräften, Grundstücken oder anderen Produktivitätsfaktoren zu profitieren.
- Transportwesen: Verwaltung von Gütertransport- und Zustellsystemen (Beispiele: LTL-Versand , intermodaler Gütertransport , Problem des Handlungsreisenden , Fahrerdispositionsproblem )
- Terminplanung :
- Personalbesetzung
- Fertigungsschritte
- Projektaufgaben
- Netzwerkdatenverkehr: Diese werden als Warteschlangenmodelle oder Warteschlangensysteme bezeichnet.
- Sportveranstaltungen und deren Fernsehberichterstattung
- Mischung von Rohstoffen in Ölraffinerien
- Die Ermittlung optimaler Preise in vielen Einzelhandels- und B2B-Bereichen ist Gegenstand der Preisforschung.
- Problem beim Zuschneiden von Material : Kleinere Teile aus größeren herausschneiden.
- Ermittlung der optimalen Parametereinstellung (Gewichte) eines Algorithmus zur Generierung der Realisierung eines Generalbasses in barocken Kompositionen (klassischer Musik) unter Verwendung gewichteter lokaler Kosten- und Übergangskostenregeln
Operationsforschung findet auch in der Regierung, wo evidenzbasierte Politik verfolgt wird, breite Anwendung.
Managementwissenschaft
Die Managementwissenschaft (MS) ist bekannt für die Anwendung von Operations-Research-Modellen in der Wirtschaft. [ 35 ] Stafford Beer beschrieb dies 1967. [ 36 ] Wie das Operations Research selbst ist die Managementwissenschaft ein interdisziplinärer Zweig der angewandten Mathematik, der sich der optimalen Entscheidungsplanung widmet und enge Verbindungen zu Wirtschaftswissenschaften, Betriebswirtschaft, Ingenieurwissenschaften und anderen Wissenschaften aufweist . Sie nutzt verschiedene wissenschaftlich fundierte Prinzipien, Strategien und Analysemethoden , darunter mathematische Modellierung , Statistik und numerische Algorithmen , um die Fähigkeit von Organisationen zu verbessern, rationale und sinnvolle Managemententscheidungen zu treffen, indem sie optimale oder nahezu optimale Lösungen für mitunter komplexe Entscheidungsprobleme findet. Managementwissenschaftler unterstützen Unternehmen bei der Erreichung ihrer Ziele mithilfe der wissenschaftlichen Methoden des Operations Research.
Die Aufgabe von Managementwissenschaftlern besteht darin, rationale, systematische und wissenschaftlich fundierte Methoden anzuwenden, um Entscheidungen jeglicher Art zu fundieren und zu verbessern. Selbstverständlich beschränken sich die Methoden der Managementwissenschaft nicht auf Geschäftsanwendungen, sondern können auch im Militär, im Gesundheitswesen, in der öffentlichen Verwaltung, in gemeinnützigen Organisationen, in der Politik oder in zivilgesellschaftlichen Gruppen eingesetzt werden.
Die Managementwissenschaft befasst sich mit der Entwicklung und Anwendung von Modellen und Konzepten , die sich als nützlich erweisen können, um Managementfragen zu beleuchten und Managementprobleme zu lösen, sowie mit der Gestaltung und Entwicklung neuer und besserer Modelle organisatorischer Exzellenz. [ 37 ]
Verwandte Bereiche
Zu den Bereichen, die erhebliche Überschneidungen mit Operations Research und Management Science aufweisen, gehören unter anderem: [ 38 ]
- Künstliche Intelligenz
- Geschäftsanalyse
- Informatik
- Data Mining / Data Science / Big Data
- Entscheidungsanalyse
- Entscheidungsintelligenz
- Maschinenbau
- Finanztechnik
- Prognose
- Spieltheorie
- Geographie / Geoinformatik
- Graphentheorie
- Industrietechnik
- Bestandskontrolle
- Logistik
- Mathematische Modellierung
- Mathematische Optimierung
- Wahrscheinlichkeit und Statistik
- Projektmanagement
- Politikanalyse
- Warteschlangentheorie
- Simulation
- Soziale Netzwerke / Transportprognosemodelle
- Stochastische Prozesse
- Lieferkettenmanagement
- Systemtechnik
Anwendungen
Die Anwendungsgebiete sind vielfältig, beispielsweise bei Fluggesellschaften, Produktionsunternehmen, Dienstleistungsorganisationen , dem Militär und der Regierung. Das Spektrum der Probleme und Fragestellungen, zu denen es Erkenntnisse und Lösungen beigetragen hat, ist breit gefächert. Es umfasst unter anderem: [ 37 ]
- Fahrplanerstellung (für Fluggesellschaften, Züge, Busse usw.)
- Einsatzplanung (Zuweisung von Besatzungsmitgliedern zu Flügen, Zügen oder Bussen; Zuweisung von Mitarbeitern zu Projekten; Bereitstellung und Einsatzplanung von Stromerzeugungsanlagen)
- Standortwahl (Bestimmung des am besten geeigneten Standorts für neue Einrichtungen wie Lagerhallen, Fabriken oder Feuerwachen)
- Hydraulik und Rohrleitungsbau (Steuerung des Wasserflusses aus Stauseen)
- Gesundheitswesen (Informations- und Lieferkettenmanagement)
- Spieltheorie (Identifizierung, Verständnis; Entwicklung von Strategien, die von Unternehmen angewendet werden)
- Stadtplanung
- Computernetzwerktechnik (Paketrouting; Zeitmessung; Analyse)
- Telekommunikations- und Datenkommunikationstechnik (Paketrouting; Zeitmessung; Analyse)
Das Management befasst sich auch mit der sogenannten Soft-Operational-Analyse, die Methoden für die strategische Planung , die strategische Entscheidungsunterstützung und die Problemstrukturierung umfasst . Bei der Bewältigung solcher Herausforderungen sind mathematische Modellierung und Simulation möglicherweise nicht geeignet oder ausreichend. Daher wurden in den letzten 30 Jahren zahlreiche nicht-quantifizierte Modellierungsmethoden entwickelt. Dazu gehören:
- Stakeholderbasierte Ansätze einschließlich Metaspielanalyse und Dramentheorie
- morphologische Analyse und verschiedene Formen von Einflussdiagrammen
- kognitive Kartierung
- strategische Wahl
- Robustheitsanalyse
Gesellschaften und Zeitschriften
Gesellschaften
Die International Federation of Operational Research Societies (IFORS) [ 40 ] ist ein Dachverband für Operations-Research-Gesellschaften weltweit und vertritt rund 50 nationale Gesellschaften, darunter solche in den USA [ 41 ] , Großbritannien [ 42 ] , Frankreich [ 43 ] , Deutschland, Italien [ 44 ] , Kanada [ 45 ] , Australien [ 46 ] , Neuseeland [ 47 ] , den Philippinen [ 48 ] , Indien [ 49 ] , Japan und Südafrika [ 50 ] . Für die Institutionalisierung des Operations Research war die Gründung der IFORS im Jahr 1960 von entscheidender Bedeutung, da sie die Gründung nationaler OR-Gesellschaften in Österreich, der Schweiz und Deutschland anregte. Die IFORS veranstaltet seit 1957 alle drei Jahre wichtige internationale Konferenzen [ 51 ] . Die Mitgliedsverbände der IFORS bilden regionale Gruppen, wie beispielsweise in Europa die Association of European Operational Research Societies (EURO). [ 52 ] Weitere wichtige Organisationen für operationelle Forschung sind die Simulation Interoperability Standards Organization (SISO) [ 53 ] und die Interservice/Industry Training, Simulation and Education Conference (I/ITSEC) [ 54 ].
Im Jahr 2004 startete die US-amerikanische Organisation INFORMS eine Initiative zur besseren Vermarktung des OR-Berufsstands. Dazu gehörte die Website „ The Science of Better“ [ 55 ] , die eine Einführung in OR bietet und Beispiele für erfolgreiche Anwendungen von OR auf industrielle Probleme präsentiert. Diese Initiative wurde von der Operational Research Society in Großbritannien übernommen und umfasst unter anderem die Website „ Learn About OR“ [ 56 ] .
Zeitschriften von INFORMS
Das Institute for Operations Research and the Management Sciences (INFORMS) veröffentlicht dreizehn wissenschaftliche Zeitschriften zum Thema Operations Research, darunter die beiden führenden Zeitschriften ihrer Kategorie laut Journal Citation Reports 2005. [ 57 ] Es handelt sich um folgende:
- Entscheidungsanalyse [ 58 ]
- Informationssystemforschung [ 59 ]
- INFORMS Journal on Computing [ 60 ]
- INFORMS Transactions on Education [ 61 ] (eine Open-Access-Zeitschrift)
- Schnittstellen [ 62 ]
- Managementwissenschaft
- Management von Fertigungs- und Dienstleistungsbetrieben
- Marketingwissenschaft
- Mathematik der Operationsforschung
- Operationsforschung
- Organisationswissenschaft [ 63 ]
- Service Science [ 64 ]
- Verkehrswissenschaft
Andere Zeitschriften
Diese sind in alphabetischer Reihenfolge ihrer Titel aufgelistet.
- 4OR - Eine vierteljährlich erscheinende Zeitschrift für Operations Research : gemeinsam herausgegeben von der belgischen, französischen und italienischen Gesellschaft für Operations Research (Springer);
- Decision Sciences wird von Wiley-Blackwell im Auftrag des Decision Sciences Institute herausgegeben.
- European Journal of Operational Research (EJOR) : Gegründet 1975, ist es mit rund 9.000 veröffentlichten Seiten pro Jahr die mit Abstand größte Fachzeitschrift für Operations Research weltweit. Im Jahr 2004 verzeichnete sie die zweithöchste Anzahl an Zitationen unter den Zeitschriften für Operations Research und Management Science.
- INFOR Journal : herausgegeben und gefördert von der Canadian Operational Research Society;
- Journal of Defense Modeling and Simulation (JDMS): Anwendungen, Methodik, Technologie : eine vierteljährlich erscheinende Fachzeitschrift, die sich der Weiterentwicklung der Modellierungs- und Simulationswissenschaft im militärischen und verteidigungspolitischen Bereich widmet. [ 65 ]
- Journal of the Operational Research Society (JORS) : eine offizielle Zeitschrift der OR Society ; dies ist die älteste ununterbrochen erscheinende Zeitschrift für Operations Research weltweit, herausgegeben von Taylor & Francis ;
- Military Operations Research (MOR) : herausgegeben von der Military Operations Research Society ;
- Omega – The International Journal of Management Science ;
- Operations Research Letters ;
- Opsearch : offizielle Zeitschrift der Operational Research Society of India;
- OR Insight : eine vierteljährlich erscheinende Zeitschrift der OR Society, herausgegeben von Palgrave; [ 66 ]
- Pesquisa Operacional , die offizielle Zeitschrift der brasilianischen Gesellschaft für Operations Research
- Production and Operations Management , die offizielle Zeitschrift der Production and Operations Management Society
- TOP : das offizielle Organ der Spanischen Gesellschaft für Statistik und Operations Research . [ 67 ]
Siehe auch
|
|
|
Referenzen
- ^ „Operations Research | Definition, Geschichte, Beispiele & Fakten“ . Britannica.
- ^ „Was ist ODER?“ . INFORMS.org . Abgerufen am 7. Januar 2012 .
- ^ Wetherbe, James C. (1979), Systemanalyse für computergestützte Informationssysteme , West-Reihe in Datenverarbeitung und Informationssystemen, West Pub. Co., ISBN 9780829902280Ein Systemanalytiker ,
der im Bereich DSS arbeitet, muss über Kenntnisse in Bereichen wie Managementwissenschaft (synonym mit Entscheidungswissenschaft und Operationsforschung), Modellierung, Simulation und fortgeschrittener Statistik verfügen.
- ^ a b „Was ist OR“ . HSOR.org. Archiviert vom Original am 18. November 2010 . Abgerufen am 13. November 2011 .
- ^ „Operations Research Analysts“ . Bls.gov . Abgerufen am 27. Januar 2012 .
- ^ „OR / Pubs / IOL Home“ . INFORMS.org. 2. Januar 2009. Archiviert vom Original am 27. Mai 2009. Abgerufen am 13. November 2011 .
- ^ Petropoulos, Fotios; Laporte, Gilbert; Aktas, Emel; Alumur, Sibel A.; Archetti, Claudia; Ayhan, Hayriye; Battarra, Maria; Bennell, Julia A.; Bourjolly, Jean-Marie; Boylan, John E.; Breton, Michèle; Canca, David; Charlin, Laurent; Chen, Bo; Cicek, Cihan Tugrul (27. Dezember 2023). „Operationelle Forschung: Methoden und Anwendungen“ . Zeitschrift der Operational Research Society . 75 (3): 423–617 . arXiv : 2303.14217 . doi : 10.1080/01605682.2023.2253852 . ISSN 0160-5682 .
- ^ Shafer, G. (2018). Pascals und Huygens' spieltheoretische Grundlagen der Wahrscheinlichkeitstheorie . [1]
- ^ MS Sodhi, „Was ist mit dem ‚O‘ in OR?“ OR/MS Today, Dezember 2007, S. 12, http://www.lionhrtpub.com/orms/orms-12-07/frqed.html ( Archiviert am 14. Juli 2009 im Internet Archive).
- ^ PW Bridgman, Die Logik der modernen Physik, The MacMillan Company, New York, 1927.
- ^ a b Zuckerman, Solly (1964). „Am Anfang – und später“. OR . 15 (4): 287–292 . doi : 10.2307/3007115 . ISSN 1473-2858 . JSTOR 3007115 .
- ^ „Operations Research (Wirtschaftsingenieurwesen) :: Geschichte – Britannica Online-Enzyklopädie“ . Britannica.com . Abgerufen am 13. November 2011 .
- ^ „Operational Research in the British Army 1939–1945“, Oktober 1947, Bericht C67/3/4/48, Akte WO291/1301 des britischen Nationalarchivs.Zitiert auf dem Schutzumschlag von: Morse, Philip M., und Kimball, George E., Methods of Operation Research , 1. überarbeitete Auflage, MIT Press & J. Wiley, 5. Druck, 1954.
- ^ Der Katalog des britischen Nationalarchivs (WO291) führt eine Organisation des Kriegsministeriums namens Army Operational Research Group (AORG) auf, die von 1946 bis 1962 existierte. „Im Januar 1962 wurde der Name in Army Operational Research Establishment (AORE) geändert. Nach der Gründung eines vereinigten Verteidigungsministeriums wurde eine teilstreitkräfteübergreifende operative Forschungsorganisation eingerichtet: das Defence Operational Research Establishment (DOAE), das 1965 gegründet wurde und das in West Byfleet ansässige Army Operational Research Establishment übernahm.“
- ^ „Archivierte Kopie“ (PDF) . Archiviert vom Original (PDF) am 12. August 2011. Abgerufen am 7. Oktober 2009 .
{{cite web}}: CS1 Wartung: Archivierte Kopie als Titel ( Link ) - ^ Kirby, S. 117. Archiviert am 27. August 2013 in der Wayback Machine.
- ^ Kirby, S. 91–94. Archiviert am 27. August 2013 in der Wayback Machine.
- ^ Kirby, S. 96.109. Archiviert am 2. Oktober 2013 im Internet Archive (Wayback Machine).
- ^ Bullard, Edward (2. August 1974). „Patrick Blackett… eine Würdigung“. Nature . 250 (5465): 370. Bibcode : 1974Natur.250..370B . doi : 10.1038/250370a0 .
- ^ Kirby, S. 96. Archiviert am 27. März 2014 in der Wayback Machine.
- ^ Freeman Dyson , MIT Technology Review (1. November 2006) „ Ein Versagen der Intelligenz: Teil I “
- ^ "„Zahlen sind entscheidend“: Der Sieg im Nordatlantik neu betrachtet, März–Mai 1943. Familyheritage.ca. 24. Mai 1943. Abgerufen am 13. November 2011 .
- ^ Kirby, S. 101
- ^ (Kirby, S. 102,103 )
- ^ James F. Dunnigan (1999). Schmutzige kleine Geheimnisse des 20. Jahrhunderts . Harper Paperbacks . S. 215–217 .
- ^ Wallis, W. Allen (1980). „Die Statistische Forschungsgruppe, 1942–1945“. Journal of the American Statistical Association . 75 (370): 320–330 . doi : 10.1080/01621459.1980.10477469 .
- Mangel , Marc; Samaniego, Francisco J. (1984). „Abraham Walds Arbeit zur Überlebensfähigkeit von Flugzeugen“. Journal of the American Statistical Association . 79 (386): 259. doi : 10.2307/2288257 . JSTOR 2288257 .
- ^ „RAF-Geschichte – 60. Jahrestag des Bomber Command“ . Raf.mod.uk. Archiviert vom Original am 5. November 2011. Abgerufen am 13. November 2011 .
- ^ a b Milkman, Raymond H. (Mai 1968). „Operations Research in World War II“ . Proceedings . Vol. 94/5/783. United States Naval Institute .
- ^ a b „Abschnitt 1.2: Eine historische Perspektive“. Prinzipien und Anwendungen der Operationsforschung .
- ^ Richard Vahrenkamp: Mathematisches Management – Operations Research in den Vereinigten Staaten und Westeuropa, 1945 – 1990, in: Management Revue – Socio-Economic Studies, Bd. 34 (2023), Heft 1, S. 69–91
- ^ Vahrenkamp, Richard (2019). „Nominalwissenschaft ohne Daten: Der Kalte-Krieg-Inhalt der Spieltheorie und des Operations Research“ (PDF) . Real World Economics Review . 88 : 19–50 .Die
- ^ „Fabrikphysik für Manager“, ES Pound, JH Bell und ML Spearman, McGraw-Hill, 2014, S. 47
- ^ „Neue Ära der Projektabwicklung – Projekt als Produktionssystem“, RG Shenoy und TR Zabelle, Journal of Project Production Management, Band 1, November 2016, S. 13–24, https://www.researchgate.net/publication/312602707_New_Era_of_Project_Delivery_-_Project_as_Production_System
- ^ Was ist Managementwissenschaft? Archiviert am 7. Dezember 2008 in der Wayback Machine. Die Universität von Tennessee, 2006. Abgerufen am 5. Juni 2008.
- ^ Stafford Beer (1967) Management Science: The Business Use of Operations Research
- ^ a b Was ist Managementwissenschaft? Archiviert am 14. September 2008 in der Wayback Machine. Lancaster University, 2008. Abgerufen am 5. Juni 2008.
- ^ Merigó, José M.; Yang, Jian-Bo (2017). „Eine bibliometrische Analyse von Operations Research und Management Science“ . Omega – International Journal of Management Science . 73 : 37–48 . doi : 10.1016/j.omega.2016.12.004 . ISSN 0305-0483 .
- ^ „Blog“ . Archiviert vom Original am 29. September 2017. Abgerufen am 28. Juni 2017 .
- ^ "IFORS" . IFORS . Abgerufen am 13. November 2011 .
- ^ Leszczynski, Mary (8. November 2011). „Informs“ . Informs . Abgerufen am 13. November 2011 .
- ^ „The OR Society“ . Orsoc.org.uk. Archiviert vom Original am 24. April 2006. Abgerufen am 13. November 2011 .
- ^ „Société française de Recherche Opérationnelle et d’Aide à la Décision“ . ROADEF . Abgerufen am 13. November 2011 .
- ^ airo.org. "AIRO" . airo.org . Abgerufen am 31. März 2018 .
- ^ cors.ca. "CORS" . Cors.ca. Abgerufen am 13. November 2011 .
- ^ „ASOR“ . ASOR. 1. Januar 1972 . Abgerufen am 13. November 2011 .
- ^ "ORSNZ" . ORSNZ . Abgerufen am 13. November 2011 .
- ^ "ORSP" . ORSP . Abgerufen am 13. November 2011 .
- ^ "ORSI" . Orsi.in . Abgerufen am 13. November 2011 .
- ^ „ORSSA“ . ORSSA. 23. September 2011 . Abgerufen am 13. November 2011 .
- ^ Richard Vahrenkamp (2023), „Mathematisches Management – Operations Research in den Vereinigten Staaten und Westeuropa, 1945–1990“, Management Revue – Socio-Economic Studies , Bd. 34, Nr. 1, S. 69–91 , doi : 10.5771/0935-9915-2023-1-69 , S2CID 258937881
- ^ „EURO (EURO)“ . Euro-online.org . Abgerufen am 13. November 2011 .
- ^ "SISO" . Sisostds.org . Abgerufen am 13. November 2011 .
- ^ "I/Itsec" . I/Itsec . Abgerufen am 13. November 2011 .
- ^ „Die Wissenschaft des Besseren“ . Die Wissenschaft des Besseren . Abgerufen am 13. November 2011 .
- ^ „Mehr über OR erfahren“ . Mehr über OR erfahren. Archiviert vom Original am 15. November 2011. Abgerufen am 13. November 2011 .
- ^ „INFORMS Journals“ . Informs.org. Archiviert vom Original am 9. März 2010. Abgerufen am 13. November 2011 .
- ^ „Entscheidungsanalyse“ . Informs.org . Abgerufen am 19. März 2015 .
- ^ „Information Systems Research“ . Informs.org . Abgerufen am 19. März 2015 .
- ^ „INFORMS Journal on Computing“ . Informs.org . Abgerufen am 19. März 2015 .
- ^ „INFORMS Transactions on Education“ . Informs.org . Abgerufen am 19. März 2015 .
- ^ „Schnittstellen“ . Informs.org . Abgerufen am 19. März 2015 .
- ^ „Organisationswissenschaft“ . Informs.org . Abgerufen am 19. März 2015 .
- ^ „Service Science“ . Informs.org . Abgerufen am 19. März 2015 .
- ^ Die Society for Modeling & Simulation International. „JDMS“ . Scs.org. Archiviert vom Original am 23. August 2009. Abgerufen am 13. November 2011 .
- ^ Die OR Society , archiviert am 24. April 2006 imWebarchiv der Library of Congress ;
- ^ „TOP“ . Springer.com . Abgerufen am 13. November 2011 .
Weiterführende Literatur
Klassische Bücher und Artikel
- R. E. Bellman, Dynamische Programmierung , Princeton University Press, Princeton, 1957
- Abraham Charnes, William W. Cooper, Managementmodelle und industrielle Anwendungen der linearen Programmierung , Band I und II, New York, John Wiley & Sons, 1961
- Abraham Charnes, William W. Cooper, A. Henderson, Einführung in die lineare Programmierung , New York, John Wiley & Sons, 1953
- C. West Churchman, Russell L. Ackoff & EL Arnoff, Einführung in die Operationsforschung , New York: J. Wiley and Sons, 1957
- George B. Dantzig, Lineare Programmierung und Erweiterungen , Princeton, Princeton University Press, 1963
- Lester K. Ford, Jr., D. Ray Fulkerson, Flüsse in Netzwerken , Princeton, Princeton University Press, 1962
- Jay W. Forrester, Industriedynamik , Cambridge, MIT Press, 1961
- L. V. Kantorovich, „Mathematische Methoden zur Organisation und Planung der Produktion“, Management Science , 4, 1960, 266–422
- Ralph Keeney, Howard Raiffa, Entscheidungen mit mehreren Zielen: Präferenzen und Wertabwägungen , New York, John Wiley & Sons, 1976
- H. W. Kuhn, „Die ungarische Methode für das Zuordnungsproblem“, Naval Research Logistics Quarterly , 1–2, 1955, 83–97
- H. W. Kuhn, A. W. Tucker, „Nichtlineare Programmierung“, S. 481–492 in: Proceedings of the Second Berkeley Symposium on Mathematical Statistics and Probability
- B. O. Koopman, Suche und Screening: Allgemeine Prinzipien und historische Anwendungen , New York, Pergamon Press, 1980
- Tjalling C. Koopmans (Hrsg.), Aktivitätsanalyse von Produktion und Allokation , New York, John Wiley & Sons, 1951
- Charles C. Holt, Franco Modigliani, John F. Muth, Herbert A. Simon, Produktionsplanung, Lagerbestände und Arbeitskräfte , Englewood Cliffs, NJ, Prentice-Hall, 1960
- Philip M. Morse, George E. Kimball, Methoden der Operationsforschung , New York, MIT Press und John Wiley & Sons, 1951
- Robert O. Schlaifer, Howard Raiffa, Angewandte statistische Entscheidungstheorie , Cambridge, Forschungsabteilung, Harvard Business School, 1961
Klassische Lehrbücher
- Taha, Hamdy A., Operations Research: Eine Einführung , Pearson, 10. Auflage, 2016
- Frederick S. Hillier & Gerald J. Lieberman: Einführung in die Operationsforschung , McGraw-Hill: Boston MA; 10. Auflage, 2014
- Robert J. Thierauf & Richard A. Grosse: Entscheidungsfindung durch Operations Research , John Wiley & Sons, INC, 1970
- Harvey M. Wagner: Principles of Operations Research , Englewood Cliffs, Prentice-Hall, 1969
- Wentzel (Ventsel), ES : Einführung in die Operationsforschung , Moskau: Verlag des Sowjetischen Rundfunks, 1964.
- Mykel J. Kochenderfer, Tim A. Wheeler und Kyle H. Wray: Algorithmen für die Entscheidungsfindung , MIT Press, 2022
Geschichte
- Saul I. Gass, Arjang A. Assad, Eine kommentierte Zeitleiste der Operationsforschung: Eine informelle Geschichte . New York, Kluwer Academic Publishers, 2005.
- Saul I. Gass (Hrsg.), Arjang A. Assad (Hrsg.), Profile in Operations Research: Pioneers and Innovators . Springer, 2011
- Maurice W. Kirby (Operational Research Society (Großbritannien)). Operationsforschung in Krieg und Frieden: Die britische Erfahrung von den 1930er Jahren bis 1970, Imperial College Press, 2003. ISBN 1-86094-366-7ISBN 978-1-86094-366-9
- JK Lenstra, AHG Rinnooy Kan, A. Schrijver (Herausgeber) History of Mathematical Programming: A Collection of Personal Reminiscences , Nordholland, 1991
- Charles W. McArthur, Operationsanalyse in der achten US-Luftflotte im Zweiten Weltkrieg , Geschichte der Mathematik, Band 4, Providence, American Mathematical Society, 1990
- CH Waddington, OR in World War 2: Operational Research Against the U-boat , London, Elek Science, 1973.
- Richard Vahrenkamp: Mathematisches Management – Operations Research in den Vereinigten Staaten und Westeuropa, 1945 – 1990 , in: Management Revue – Socio-Economic Studies, Bd. 34 (2023), Heft 1, S. 69–91.