Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Best practice
Per abilitare il successivo machine learning (ML) o reinforcement learning (RL), è fondamentale seguire le migliori pratiche in varie aree, tra cui l'inserimento dei dati, la gestione delle risorse, l'archiviazione della telemetria e la visualizzazione.
L'ingestione dei dati svolge un ruolo fondamentale per il successo del progetto. Implica il caricamento dei dati generati dalle risorse edge sul AWS o sul cloud di tua scelta, consentendo interazioni su scala cloud. Per semplificare il processo e facilitare la scalabilità, è necessario implementare un componente edge-side per l'onboarding automatizzato di nuovi siti. Ciò garantisce che le nuove risorse possano integrarsi senza problemi con l'infrastruttura esistente non appena sono online.
La gestione delle risorse è un altro aspetto fondamentale che richiede un'attenta considerazione. Mappando i metadati delle risorse su un'ontologia standardizzata come l'ontologia Brick, potete ottenere una visione olistica delle risorse e delle relative proprietà, gerarchie e relazioni. Il diagramma seguente mostra un esempio di mappatura adattato dalla documentazione di Brick ontology.
L'archiviazione di questi metadati in un database grafico come Amazon Neptune
L'archivio di telemetria è responsabile dell'archiviazione dei dati acquisiti in tempo reale e dell'utilizzo della gestione del ciclo di vita per ridurre i costi e minimizzare i rischi. L'archivio di telemetria utilizza meccanismi di archiviazione a caldo e a freddo per consentire un'archiviazione dei dati efficiente e affidabile. L'implementazione di un catalogo di dati, ad esempio, AWS Glue
Per fornire approfondimenti e consentire un processo decisionale informato, ti consigliamo di sviluppare un componente di visualizzazione. Si tratta di una dashboard che consente agli utenti di visualizzare i dati degli asset caricati e fornisce una rappresentazione chiara e intuitiva delle informazioni raccolte. La presentazione dei dati in modo intuitivo può aiutare le parti interessate a comprendere facilmente lo stato attuale del progetto di ottimizzazione energetica e a prendere decisioni basate sui dati. Dopo aver stabilito questa base di dati, puoi utilizzare RL per abilitare l'ottimizzazione energetica. Per un'implementazione di esempio, consulta il GitHub repository Amazon AWS IoT SiteWise Neptune e per
Le condizioni esterne svolgono un ruolo cruciale nell'ambiente RL. È necessario considerare variabili come pressione atmosferica, flusso d'aria costante, temperatura di alimentazione, umidità relativa di alimentazione, temperatura di zona, umidità relativa della zona, temperatura dell'aria esterna, umidità relativa dell'aria esterna, setpoint di raffreddamento e percentuale minima di aria esterna. Queste condizioni costituiscono la rappresentanza dello stato e forniscono il contesto necessario all'agente RL per prendere decisioni.
La soluzione RL dovrebbe basarsi su alcune ipotesi, come un flusso d'aria costante e una temperatura o umidità relativa dell'aria di mandata costanti, per semplificare il problema. Questi presupposti aiutano a limitare l'ambiente in cui opera l'agente RL e consentono all'agente di apprendere e ottimizzare le proprie azioni più rapidamente.
Le azioni dell'agente RL sono definite dall'economizzatore che abilita i setpoint. Questi setpoint, come la temperatura massima di attivazione dell'economizzatore e l'entalpia massima abilitante dell'economizzatore, determinano il comportamento del sistema e il suo potenziale di risparmio energetico. L'agente RL impara a selezionare i setpoint appropriati in base allo stato osservato per massimizzare i vantaggi in termini di risparmio energetico.
La funzione di ricompensa è un aspetto cruciale di RL. In questo caso, la ricompensa viene calcolata in base alla logica del risparmio energetico pur mantenendo il comfort umano. L'agente RL mira a ridurre al minimo il consumo energetico e la ricompensa viene determinata confrontando il consumo energetico con e senza l'economizzatore selezionato che abilita i setpoint. Incentivando la riduzione dell'energia, l'agente RL impara a ottimizzare le proprie azioni nel tempo.
Il diagramma seguente mostra un esempio di ciclo RL per l'ottimizzazione energetica. Per ulteriori informazioni su questo flusso di lavoro e sul codice di esempio, consulta il GitHub repository Guidance for Monitoring and Optimizing Energy
Lo sviluppo di una soluzione RL seguendo le migliori pratiche implica il raggiungimento di un equilibrio tra esplorazione e sfruttamento. Tecniche come l'esplorazione Epsilon-Greedy o il campionamento Thompson aiutano l'agente a utilizzare un numero appropriato di iterazioni durante l'addestramento.
L'attenta selezione degli algoritmi RL, come Q-learning o Deep Q Network (DQN), insieme alla regolazione degli iperparametri, garantiscono un apprendimento e una convergenza ottimali. L'utilizzo di tecniche come la riproduzione dell'esperienza può migliorare l'efficienza dei campioni disponibili ed è utile quando l'esperienza nel mondo reale dell'agente è limitata. Le reti target migliorano la stabilità della formazione facendo provare all'agente diversi esempi prima di riconsiderare il suo approccio. Nel complesso, queste pratiche facilitano lo sviluppo di soluzioni RL efficaci per massimizzare i premi e ottimizzare le prestazioni.
In sintesi, lo sviluppo di una soluzione RL per un simulatore di risparmio energetico richiede la considerazione delle condizioni esterne, la definizione di ipotesi, la selezione di azioni significative e la progettazione di una funzione di ricompensa adeguata. Le migliori pratiche includono adeguati compromessi tra esplorazione e sfruttamento, selezione degli algoritmi, ottimizzazione degli iperparametri e utilizzo di tecniche di miglioramento della stabilità come la riproduzione dell'esperienza e le reti di destinazione. Le tecnologie cloud offrono efficienza in termini di costi, durata e scalabilità per l'analisi e l'apprendimento automatico. L'adesione alle migliori pratiche in materia di ingestione dei dati, gestione delle risorse, archiviazione della telemetria, visualizzazione e sviluppo dell'apprendimento automatico consente un'integrazione perfetta, una gestione efficiente dei dati e informazioni preziose, portando a una consegna di successo del progetto.
