Options
Performance control of internet-based engineering applications.
Vercesi, Paolo
2008-03-18
Abstract
Grazie alle tecnologie capaci di semplificare l'integrazione tra
programmi remoti ospitati da differenti organizzazioni,
le comunità scientifica ed ingegneristica stanno adottando
architetture orientate ai servizi per: aggregare, condividere e
distribuire le loro risorse di calcolo, per gestire grandi
quantità di dati e per eseguire simulazioni attraverso Internet.
I Web Service, per esempio, permettono ad un'organizzazione di
esporre, in Internet, le funzionalità dei loro sistemi e di
renderle scopribili ed accessibili in un modo controllato.
Questo progresso tecnologico può permettere nuove applicazioni
anche nell'area dell'ottimizzazione di progetti. Gli attuali
sistemi di ottimizzazione di progetti sono di solito confinati
all'interno di una singola organizzazione o dipartimento.
D'altra parte, i moderni prodotti manifatturieri sono
l'assemblaggio di componenti provenienti da diverse
organizzazioni. Componendo i servizi delle organizzazioni
coinvolte, si può creare un workflow che descrive il modello del
prodotto composto. Questo servizio composto puo a sua volta
essere usato da un sistema di ottimizzazione
inter-organizzazione.
I compromessi progettuali che sono implicitamente incorporati
per architetture locali, devono essere riconsiderati quando
questi sistemi sono messi in opera su scala globale in Internet.
Ad esempio: i) la qualità delle connessioni tra i nodi può
variare in modo impredicibile; ii) i nodi di terze parti
mantengono il pieno controllo delle loro risorse, incluso, per
esempio, il diritto di diminuire le risorse in modo temporaneo
ed impredicibile.
Dal punto di vista del sistema come un'entità unica, si
vorrebbero massimizzare le prestazioni, cioè, per esempio, il
throughput inteso come numero di progetti candidati valutati per
unità di tempo. Dal punto di vista delle organizzazioni
partecipanti al workflow si vorrebbe, invece, minimizzare il
costo associato ad ogni valutazione. Questo costo può essere un
ostacolo all'adozione del paradigma distribuito, perché le
organizzazioni partecipanti condividono le loro risorse (cioè
CPU, connessioni, larghezza di banda e licenze software) con
altre organizzazioni potenzialmente sconosciute. Minimizzare
questo costo, mentre si mantengono le prestazioni fornite ai
clienti ad un livello accettabile, può essere un potente fattore
per incoraggiare le organizzazioni a condividere effettvivamente
le proprie risorse.
Lo scheduling di istanze di workflows, ovvero stabilire quando
e dove eseguire un certo workflow, in un tale ambiente
multi-organizzazione, multi-livello e geograficamente disperso,
ha un forte impatto sulle prestazioni. Questo lavoro investiga
alcuni dei problemi essenziali di prestazioni e di costo legati
a questo nuovo scenario. Per risolvere i problemi inviduati,
si propone un sistema di controllo dell'accesso adattativo
davanti al workflow engine che limita il numero di esecuzioni
concorrenti. Questa proposta può essere implementata in modo
molto semplice: tratta i servizi come black-box e non richiede
alcuna interazione da parte delle organizzazioni partecipanti.
La tecnica è stata valutata in un ampio spettro di scenari,
attraverso simulazione ad eventi discreti. I risultati
sperimentali suggeriscono che questa tecnica può fornire dei
significativi benefici garantendo alti livelli di throughput
e bassi costi.
Thanks to technologies able to simplifying the integration
among remote programs hosted by different organizations,
engineering and scientific communities are embodying service
oriented architectures to aggregate, share and distribute their
computing resources to process and manage large data sets, and
to execute simulations through Internet. Web Service, for
example, allow an organization to expose the functionality of
its internal systems on the Internet and to make it
discoverable and accessible in a controlled manner.
Such a technological advance may enable novel applications also
in the area of design optimization. Current design optimization
systems are usually confined within the boundary of a single
organization or department. Modern engineering products, on the
other hand, are assembled out of components developed by
several organizations. Composing services from the involved
organizations, a model of the composite product can be
described by an appropriate workflow. Such composite service
can then be used by a inter-organizational design optimization
system.
The design trade-offs that have been implicitly incorporated
within local environments, may have to be reconsidered when
deploying these systems on a global scale on the Internet. For
example: i) node-to-node links may vary their service
quality in an unpredictable manner; ii) third party
nodes retains full control over their resources including, e.g.,
the right to decrease the resource amount temporarily and
unpredictably.
From the point of view of the system as a whole, one would like
to maximize the performance, i.e. throughput the number of
candidate design evaluations performed per unit of time. From
the point of view of a participant organization, however, one
would like to minimize the cost associated with each
evaluation. This cost can be an obstacle to the adoption of
this distributed paradigm, because organizations participating
in the composite service share they resources (e.g. CPU, link
bandwidth and software licenses) with other, potentially
unknown, organizations. Minimizing such cost while keeping
performance delivered to clients at an acceptable level can be
a powerful factor for encouraging organizations to indeed share
their services.
The scheduling of workflow instances in such a
multi-organization, multi-tiered and geographically dispersed
environment have strong impacts on performance. This work
investigates some of the fundamental performance and cost
related issues involved in such a novel scenario. We propose an
adaptive admission control to be deployed at the workflow
engine level that limits the number of concurrent jobs. Our
proposal can be implemented very simply: it handles the service
as black-boxes, and it does not require any hook from the
participating organizations.
We evaluated our technique in a broad range of scenarios, by
means of discrete event simulation. Experimental results
suggest that it can provide significant benefits guaranteeing
high level of throughput and low costs.
Insegnamento
Publisher
Università degli studi di Trieste
Languages
en
File(s)