在 2016 年一場圍棋『人機大戰』中,人類李世乭敗給了 Google 的人工智慧(AI) AlphaGo,這為全球掀起了熱烈討論,甚至讓人聯想到『人工智慧將逐漸取代人』的想法。然而在大家為之震驚時,全球許多科技巨頭早已紛紛投入 AI 相關研發,如 Google、Amazon、Microsoft、Facebook 等知名科技業,及Intel、Qualcomm、NVIDIA等硬體供應商,投入AI相關硬體加速之開發,而在汽車業甚至已有研發自駕車,無庸置疑 AI 已成為各產業的全民運動之一。 然而隨著各家科技巨頭紛紛透過開放原始碼方式,釋出自家的深度學習與機器學習框架後,使許多中小型企業得以參與這場AI全民運動,並希望透過該技術從既有的公司資源中,萃取出有價值的模型,來增加公司產品的優勢。其中在開源碼深度學習框架中,又以Google Brain Team開源的 TensorFlow 最受歡迎,其利用開源方式獲得社群共享的力量,在短短時間內加速了機器學習的進展。 本篇將基於TensorFlow說明如何進行分散式資料訓練,另外,隨著企業間採納 Container 技術趨勢增加,導致傳統 IT 架構漸漸被取代,因此本篇亦將說明如何利用Google容器管理系統Kubernetes與TensorFlow進行整合。

TensorFlow

TensorFlow為利用資料流圖(Data Flow Graphs)描述數值運算過程的函式庫。其中資料流圖中的節點(Nodes)表示數學運算,而邊(Edges)則表示節點之間互相關聯的多維資料陣列,即為張量(Tensor)。它靈活的架構能讓使用者在不同平台上執行運算,例如PC中的一或多個CPU(或GPU)、智慧手持裝置與伺服器等。

TensorFlow在字面上應分兩個部分來解釋,Tensor與Flow:

  • Tensor:指一個n維度的陣列或列表。如一維Tensor就是向量,二維Tensor就是矩陣等等。
  • Flow:指一張圖(Graph)中的運算過程資料流。

以下為一簡單範例,說明如何建立一張圖來描述運算:

上面範例程式描述之圖(Graph)運算,執行結果如下圖所示。

分散式運算

TensorFlow叢集裡包含了一或多個工作(Job),各工作又可拆分成一或多個任務(Task),簡單說Cluster是Job的集合,而Job是Task的集合。叢集概念主要用在特定層次對象,如訓練神經網路、平行操作多台機器等,一個叢集物件可透過tf.train.ClusterSpec來定義。

如上所述,TensorFlow的叢集就是一組工作任務,每項任務是一個服務,而服務又分成Master Service與Worker Service兩種,並提供給Client進行操作。

  • Master Service:一項RPC服務行程,用來遠端連線一系列分散式裝置,主要提供tensorflow::Session介面,並負責透過Worker Service與工作的任務進行溝通。
  • Worker Service:一個可使用本地裝置(CPU或GPU)對部分Graph進行運算的RPC邏輯,透過worker_service.proto介面來實作,所有 TensorFlow伺服器均包含Worker Service邏輯。

TensorFlow 伺服器為運行tf.train.Server實例的行程,其為叢集一員,並有Master與Worker之分。

而TensorFlow的工作(Job)可拆成多個相同功能的任務(Task),這些工作又分成Parameter server與Worker,兩者功能說明如下:

  • Parameter server:主要根據梯度更新變數,並儲存於tf.Variable,可解釋為僅儲存模型的變數,並存放Variable副本。
  • Worker:通常稱為計算節點,主要執行密集型的Graph運算資源,並根據變數運算梯度,亦能儲存Graph副本。
在TensorFlow中的副本擁有In-graph和Between-graph模式,其差異如下所示:

  • In-graph:只有一個Client(主要呼叫tf::Session行程),並將裡面變數與op指定給對應的Job完成,因此資料分發只由一個Client完成。此方式設定簡單,其他節點只需join操作,並提供一個gRPC位址來等待任務。但訓練資料只在單一節點,因此要分發資料到不同機器時,會影響平行訓練效能。可理解成所有op都在同一個Graph中,伺服器只需做join()功能。
  • Between-graph:多個獨立Client建立相同Graph(包含變數),並透過tf.train.replica_device_setter將這些參數映射到ps上,即訓練的變數儲存在Parameter Server;而資料不用分發,資料分片(Shards)會存在各計算節點,因此各節點能各自計算。計算完成後,將欲更新變數告知Parameter Server進行更新。適合在TB級別的資料量使用,節省大量資料傳輸時間,亦是深度學習推薦模式。

TensorFlow除了在副本模式有所差異外,其訓練模式也進一步區分了同步與非同步方式,以下將說明兩者的差異:

  • Synchronous:每個Graph副本讀取相同Parameter Server值,平行計算梯度(gradients),將所有計算完的梯度一同處理,每次更新梯度時,需等所有分發的資料計算完成,並回傳結果將梯度累加計算平均,再進行更新變數。好處在於使用損失下降時,較於穩定,壞處則為需等最慢的分片計算時間。
  • Asynchronous:自行計算梯度後,即可更新paramenter,不同副本下不會進行協調進度,因此計算資源將被充分利用。缺點是loss的下降較不穩定。

分散式計算問題

在原生的TensorFlow中,雖已支援分散式運算的功能實現,但卻存有三大問題:

  • 叢集管理:在管理叢集時,任何過程皆需手動方式進行啟動或關閉,當故障無法第一時間得知問題點時,不具Monitoring與Logging功能,且無法進行作業排程。
  • 行程生命週期管理:無法區別行程為正常完成或故障退出而結束等問題。所有行程需要手動方式進行管理,當遇到大型叢集時,將會造成維運人員的過度負荷。
  • 共享式儲存:由於TensorFlow預設並無共享式儲存系統,因此資料需手動匯入或透過網際網路下載,而造成資料之間的傳遞問題,並且沒有任何的資料安全措施,一旦故障將導致資料遺失問題。

綜合上述問題,TensorFlow若要在有規模的訓練叢集中進行管理,即需要利用相關工具來達成。然而從問題的瓶頸點來看,容器叢集管理系統 Kubernetes正是最佳的選擇。

<未完待續>

撰文: 白凱仁/迎棧科技軟體工程師
Backup & Restore

 

Plug-in Services Description
Live Backup 提供虛擬機及其掛載的儲存裝置不停機備份
Cinder Multi-Backend 提供建立多個儲存來源Volume的服務
User data Backup & Restore 備份還原使用者資料,虛擬機與雲端設定檔
System Backup & Restore 備份還原系統設定檔
×
Compute Node HA

 

Plug-in Services Description
Auto Evacuate 提供自動疏散虛擬機服務
×
Management as a Service

 

Plug-in Services Description
Quality of service 提供設置虛擬機網路,儲存與分配規劃相關限制服務。以提昇整體服務品質
Log Management 整合紀錄檔服務,外接紀錄檔管理工具
Log search 搜尋紀錄檔
HybridCloud management 啟用 Hybrid Cloud,使用者可架設Hybrid Cloud Manager並且串接管理雲端服務
×
Disaster Recovery (DR)

 

Plug-in Services Description
Disaster Recovery (DR) 將重要使用者資料與服務疏散到 Recovery site
×
Cluster Maintenance

 

Plug-in Services Description
Cluster Maintenance 將環境因運行所產生可移除之檔案與資訊備份或清除
×
Performance Tuning

 

Plug-in Services Description
 Performance Tuning  強化環境運行速度
 PCI Passthrough 讓虛擬機直接使用硬體資源,改善效能.
Neutron SR-IOV  提供Neutron SR-IOV功能,以實踐虛擬機網路直接串通至實體網卡的服務
×
Migration

 

Plug-in Services Description
VM 提供VM的 P2V / V2V 服務
Site Migrate 提供OpenStack 平台轉移功能,將整個環境服務轉移至另一個平台環境上
AWS to OpenStack 將 AWS 環境轉移到 OpenStack 平台
×
OpenStack Certification

 

Plug-in Services Description
OpenStack Certification 協助測試 Driver 或其他 OpenStack 相關軟硬體,於 OpenStack 上的完整性
×
Network as a Service

 

Plug-in Services Description
VPNaaS Neutron VPN 服務
L3 HA Neutron L3 高可用性
DVR Neutron 分散式虛擬路由服務
LBaaS Neutron 負載平衡服務
Network Alignment 提供建立多個對外網段的服務
提供替換對外網段的服務
×
Application as a Service

 

Plug-in Services Description
Instance Auto Scaling 提供虛擬機自動化擴展功能,可利用自動化擴展腳本,實現任何虛擬機自動化擴展
Application Catalog Murano 服務
Big data as a service Sahara 服務
Alarm SMTP Service 提供服務讓各家版本 OpenStack 都可以透過監控服務發出警示後已郵件通知相關人員
Authorization service

提供撰寫基本OpenStack權限設定之服務
使用者擁有既有的 AD/LDAP 認證環境,將該環境連接上OpenStack作為認證來源

×
Ceph Monitoring & Alert

 

Plug-in Services Description
APP for Ceph Monitoring & Alert Is a mobile app which can help admin to monitor the Ceph system more convenient.
Ceph Monitoring & Managements  Ceph Alert mechanism is built in Ceph monitoring App and when OSD or any problem occurred, admin can receive this kind of message automatically from the smart phone. Moreover, when the system is repaired, admin will also receive a message.
×
Ceph Accounting

 

Plug-in Services Description
 Ceph Accounting Ceph accounting is a mechanism to help admin to calculate the usage from each user and it can be integrate to billing system if needed. 
×
VMware integration

 

Plug-in Services Description
VMware integration It can also be integrate with VMWare solutions.
×
File Server & HA

 

Plug-in Services Description
File Server & HA Provide HA function for file system, include NFS and CIFS.
×
Hadoop integration

 

Plug-in Services Description
Hadoop integration Hadoop integration is a solution to integrate Ceph with Hadoop by using Rados gateway with good performance.
×
S3 Portal integration

 

Plug-in Services Description
S3 portal integration S3 portal is a web user interface which can provide S3 management integrate with Amazon S3 service.
×
Backup & Restore

 

Plug-in Services Description
Backup & Restore 1. User data
2. System data
3. Fully and Incremental
Backup / Restore is a solution for Ceph user data protection. So far, we can provide fully backup by using a backup server and a rely server.
×
DR Solution

 

Plug-in Services Description
DR Solution Ceph DR solution can provide DR function by separating ceph-mon into three site with dedicate network line and good network latency.
×
Performance Tuning

 

Plug-in Services Description
Erasure Coding Erasure coding could save more space for data store, but it may consume more CPU power.
Cache Tiering Ceph can create a cache pool as a cache for data store. This solution can improve the performance for Ceph system.
Storage Tiering Ceph can create pool with different performance like SATA pool, SAS pool and SSD pool. Data could be classified and stored into the most suitable pool.
×
Ceph Monitoring & Alert

 

Plug-in Services Description
APP for Ceph Monitoring & Alert Ceph監控APP是手機行動應用程式,他能夠協助管理者更方便的監控Ceph的系統狀態。
Ceph Monitoring & Managements  Ceph警訊機制是Ceph監控APP內的功能,當OSD發生狀況時,管理者可以透過智慧型手機自動收到這類相關的訊息。此外,當系統修復完成後,管理者也同樣會收到訊息通知。
×
Ceph Accounting

 

Plug-in Services Description
 Ceph Accounting Ceph計量是一套幫助管理者計算每位使用者的使用量的機制,如果有需要也可以跟計費系統做整合。
×
VMware integration

 

Plug-in Services Description
VMware integration 檔案伺服器解決方案可提供NFS、CIFS以及iSCSI協定來與現有的檔案分享解決方案整合。此外,該解決方案也可以與VMWare解決方案進行整合。
×
File Server & HA

 

Plug-in Services Description
File Server & HA 提供檔案系統HA功能,其中包含了NFS與CIFS。
×
Hadoop integration

 

Plug-in Services Description
Hadoop integration Hadoop整合是透過Ceph的Rados Gateway與Hadoop進行整合並獲得更高效能的解決方案。
×
S3 Portal integration

 

Plug-in Services Description
S3 portal integration S3 Portal是一套能夠提供與Amazon S3整合的Web管理介面。
×
Backup & Restore

 

Plug-in Services Description
Backup & Restore 1. User data
2. System data
3. Fully and Incremental
備份還原是一套保護Ceph使用者資料的解決方案。目前我們能夠透過一台備份伺服器與一台中繼伺服器提供完整備份。
×
DR Solution

 

Plug-in Services Description
DR Solution Ceph異地備援解決方案能透過分散Ceph-mon到三個不同的區域並搭配網路專線與良好的網路延遲率來達成此解決方案。
×
Performance Tuning

 

Plug-in Services Description
Erasure Coding Erasure Coding能夠節省更多的儲存空間,但同時也會消耗更多的CPU效能。
Cache Tiering Ceph能夠透過建立一個快取pool來加速資料存取。這個解決方案能夠提升Ceph系統的效能。
Storage Tiering Ceph可以建立不同效能的Pool,例如SATA Pool、SAS Pool與SSD Pool, 資料可以進行分類後儲存到最合適的Pool。
×
OpenStack 入門課程大綱
×
OpenStack 基礎課程大綱

 

課程目標 ● 提供學員整體架構認知與介面操作,了解 OpenStack 安裝運作之相關知識,並且能夠針對特定的應用情境提出相關解決方案。
課程大綱 ● 本課程將由雲端平台概念出發,再介紹 OpenStack 雲平台背景與核心概念,透過實作安裝雲平台與介面操作,達到學員可以自行建立平台與操作目標。

Day I


OpenStack 介紹
OpenStack 核心概念I

Day II


OpenStack 核心概念II
OpenStack 架構設計
OpenStack 安裝應用

Day III


OpenStack 維護須知
OpenStack 介面操作
OpenStack 故障排除

適用對象 ● 對虛擬化平台管理與應用維護具熱忱與興趣之使用者。
預備知識 ● 具網路基本觀念及系統管理基本觀念。

 

×
OpenStack 進階課程大綱

 

課程目標 ● 提供學員介面操作與 Lab 實作。
● 了解 OpenStack 運作與如何快速針對問題進行分析與故障排除。
課程大綱 ● 本課程將從 OpenStack 主要應用介紹。。
● 透過大量實作 Lab 強化學員應用技能,並且進行日常維護。

Day I


OpenStack 介紹
OpenStack介面操作

Day II


OpenStack指令操作

Day III


OpenStack指令操作
中階故障排除
情境綜合練習

適用對象 ● MIS 工程師。
● 對虛擬化平台管理與應用維護具熱忱與興趣之使用者。
預備知識 ● 具網路基本觀念及系統管理基本觀念。
● 建議對於 OpenStack 有概念者。

 

×
Backup & Restore

 

Plug-in Services Description
Live Backup Provide non-stop backup function for VMs and attached stroage.
Cinder Multi-Backend Create multi-backend for volume.
User data Backup & Restore Backup & Restore on User Data, VMs and cloud setting file.
System Backup & Restore Backup and Restore on System.
×
Compute Node HA

 

Plug-in Services Description
Auto Evacuate Provide auto evacuate function for VMs.
×
Management as a Service

 

Plug-in Services Description
Quality of service Provide services to set up constraints to virtual network, and storage. Inorder to improve quality of services.
Log Management Intregate log system and external log management tools.
Log search Log search.
HybridCloud management Enable Hybrid Cloud,user can set up Hybrid Cloud Manager to connect cloud service.
×
Disaster Recovery (DR)

 

Plug-in Services Description
Disaster Recovery (DR) Evacuate important user data and services to Recovery site.
×
Cluster Maintenance

 

Plug-in Services Description
Cluster Maintenance Environment clean, Basic diagnostic.
×
Performance Tuning

 

Plug-in Services Description
 Performance Tuning Strengthen environmental speed.
 PCI Passthrough improve Instance performance, allow instance to use hardware directly.
Neutron SR-IOV  Provide Neutron SR-IOV function, to bridge virtual network directly to physical network crad.
×
Migration

 

Plug-in Services Description
VM Provide VM P2V / V2V function.
Site Migrate Provide environment migration function, migrate environment and services to OpenStack.
AWS to OpenStack Migrate AWS environment to OpenStack.
×
OpenStack Certification

 

Plug-in Services Description
OpenStack Certification Test Driver or other OpenStack-related hardware and software, ensure the integrity of OpenStack.
×
Network as a Service

 

Plug-in Services Description
VPNaaS Neutron VPN as a service
L3 HA Neutron L3 HA
DVR Neutron distributed virtual router service
LBaaS Neutron load balance as a service
Network Alignment Create multi-external network.
Replace external network service.
×
Application as a Service

 

Plug-in Services Description
Instance Auto Scaling Provide enhanced instances AutoScaling,use enhanced AutoScaling script to do any scaling with instances.
Application Catalog Murano Services.
Big data as a service Sahara Services.
Alarm SMTP Service Providing service to various versions of OpenStack can issue alerts via monitoring services, e-mailing notification to relevant person.
Authorization service

Provide setting function for authorization policy.
Users with existing AD / LDAP authentication environment, the environment connect OpenStack as the authentication source.

×
迎棧科技資深架構師/講師 陳彥勝
NP160114000216011414111901
  • 於2010年開始從事網頁設計開發領域,主要負責前後端程式開發與資料庫應用
  • 於2012年加入雲端新創公司迎棧科技擔任資深架構師, 協助客戶專案導入與內外教育訓練
  • 於2015年開始擔任OpenStack企業單位教育訓練講師,同年取得Redhat RHCI講師資格,開始講授Redhat OpenStack課程
  • 於2016年6月正式通過OpenStack管理員認證(COA)測驗,並成為全台第一位成功取得COA認證者
  • 經常活動於OpenStack Taiwan User Group,將所學與經驗貢獻給社群,幫助更多使用者了解與使用OpenStack
×
迎棧科技資深工程師 傅遠佳
IMG_3544
  • 具備客戶需求分析、客戶支援、產品規格設計、系統程式規劃…等7年專業經驗
  • 擁有包含GCP Qualified Data Analyst、MCSE、MCDBA、LPI Level 2、SCJP…等多張專業證照
  • 曾參與NVR嵌入式監控系統開發與設計,並有5年完整的系統開發經驗
  • 於2015年加入迎棧科技,負責Ceph雲端儲存系統的開發與規劃,從深入研究Ceph及其應用,以自身專業協助客戶規劃導入Ceph,並進一步提供客戶教育訓練
×
Senior Architect Cody Fu
IMG_3544
  • 7 years of professional experience in customer demand analysis, customer support, product spec design, and system programming…etc
  • Possesses numerous professional certifications including GCP Qualified Data Analyst, MCSE, MCDBA, LPI Level 2, SCJP…etc
  • Participated in embedded NVR monitoring system development/design project and 5 years of complete experience as a system developer
  • Joins inwinSTACK inc. in 2015 to specialize in R&D of Ceph storage system and its applications, Ceph project implementations and training services for customers
×
Senior Architect / Trainer Sam Chen
NP160114000216011414111901
  • Web front end/back end developer and database applications experience since 2010
  • Joins inwinSTACK inc. in 2012 as senior architect for project implementations and internal/external training
  • Starts providing OpenStack training for enterprises in 2015, and in that same year, starts teaching Red Hat OpenStack courses after successfully becoming a RHCI (Redhat cerfitied instructor)
  • The first in Taiwan to have achieved the official OpenStack COA (Certified OpenStack Administrator)
  • Frequently active among OpenStack Taiwan User Group and the OpenStack community to guide more people to learn and understand OpenStack
×
Senior Architect Cody Fu
IMG_3544
  • 7 years of professional experience in customer demand analysis, customer support, product spec design, and system programming…etc
  • Possesses numerous professional certifications including GCP Qualified Data Analyst、MCSE、MCDBA、LPI Level 2、SCJP…etc
  • Participated in embedded NVR monitoring system development/design project and 5 years of complete experience as a system developer
  • Joins inwinSTACK inc. in 2015 to specialize in R&D of Ceph storage system and its applications, Ceph project implementations and training services for customers
×
Senior Architect / Trainer Sam Chen
NP160114000216011414111901
  • Web front end/back end developer and database applications experience since 2010
  • Joins inwinSTACK inc. in 2012 as senior architect for project implementations and internal/external training
  • Starts providing OpenStack training for enterprises in 2015, and in that same year, starts teaching Red Hat OpenStack courses after successfully becoming a RHCI (Redhat cerfitied instructor)
  • The first in Taiwan to have achieved the official OpenStack COA (Certified OpenStack Administrator)
  • Frequently active among OpenStack Taiwan User Group and the OpenStack community to guide more people to learn and understand OpenStack
×
Ceph 基礎課程大綱

 

時間 類型 內容
第一天 理論 Background Knowledge File System
RAID
Distributed File System
實作 Ceph Install
Ceph Operating View Ceph status
View Ceph OSD status
View Ceph Pools status
第二天 理論 Ceph Overview Ceph Architecture
Ceph Access Interface
Ceph Internal Consistent hashing
Ceph PG(Placement Group)
Ceph Erasure Code
實作 RBD Operating RBD Basic Operating
RBD Snapshot Operating
RBD Export Operating
RBD Incremental Export Operating
RBD Import Operating
第三天 理論 Ceph Internal Ceph Pool
Ceph Pool and CRUSHMAP
Ceph Interface RADOS
RBD(RADOS Block Devices)
CephFS(Ceph Filesystem)
File Striping
實作 CephFS CephFS Architecture
CephFS Deploy
CephFS Client Operating
RADOSGW RadosGW Deploy
RadosGW Client Operating
×
Ceph 入門課程大綱

 

課程目標 ● 瞭解雲端儲存系統與儲存系統發展現況。
● 熟悉Ceph架構並瞭解Ceph優勢與特色。
● 認識Ceph儲存系統的應用情境,並能以此提出Ceph儲存系統解決方案。
課程大綱 Day I


The Evolution of Storage Systems
Distributed Storage System
Object-Base Storage
Ceph Advantage
Ceph Architecture
Ceph Access Interface
Ceph CRUSH MAP
Use Case
適用對象 ● 對雲端儲存系統或Ceph有興趣或熱忱的使用者。
● 想了解Ceph應用情境的使用者。
預備知識 ● 具備網路與儲存系統概念。

 

×
Backup & Restore

 

Plug-in Services Description
Live Backup VM及びVMにマウントされたストレージにサービス無停止のバックアップを実現
Cinder Multi-Backend 複数のストレージバックエンドのボリュームサービス
User data Backup & Restore ユーザーデータ、VM及びクラウド設定ファイルのバックアップ&リストア
System Backup & Restore システム設定ファイルのバックアップ&リストア
×
Compute Node HA

 

Plug-in Services Description
Auto Evacuate VM退避の自動化サービス
×
Management as a Service

 

Plug-in Services Description
Quality of service 高品質の仮想化マシン、ネットワーク、ストレージの設置プランニングサービスを提供する
Log Management ログ管理ツールとの統合
Log search ログ検索
HybridCloud management Hybrid Cloud Managerの設置及び利用可/td>
×
Disaster Recovery (DR)

 

Plug-in Services Description
Disaster Recovery (DR) 重要なデータをリカバリーサイトに同期・保存
×
Cluster Maintenance

 

Plug-in Services Description
Cluster Maintenance 仮想化環境におけるアーカイブやログファイルなどの削除・バックアップ
×
Performance Tuning

 

Plug-in Services Description
Performance Tuning 仮想化環境における性能向上の設定
PCI Passthrough インスタンスがノードにあるハードウェアの一部に直接アクセスでき、インスタンスにおける性能向上を実現
Neutron SR-IOV  物理NICが仮想インスタンスへパススルーできるように、 物理ネットワーク上で仮想的なネットワークを構成
×
Migration

 

Plug-in Services Description
VM P2V・V2V
Site Migrate 既存のOpenStackプラットフォーム・サービスを別環境に移動
AWS to OpenStack AWS環境をOpenStackに移行
×
OpenStack Certification

 

Plug-in Services Description
OpenStack Certification OpenStackにおけるドライバーやソフトウェアなどのテスト・認証サービス
×
Network as a Service

 

Plug-in Services Description
VPNaaS Neutron VPN Service
L3 HA VRRP (L3HA) を使った高可用構成
DVR 仮想ルーターの機能をコンピュートノード上に分散配置する
LBaaS Neutron 向 けLoad Balancing サービス
Network Alignment 複数の外部ネットワークを提供
外部ネットワーク置換を提供
×
Application as a Service

 

Plug-in Services Description
Instance Auto Scaling Provide enhanced instances AutoScaling,use enhanced AutoScaling script to do any scaling with instances.
Application Catalog Murano Services.
Big data as a service Sahara Services.
Alarm SMTP Service Providing service to various versions of OpenStack can issue alerts via monitoring services, e-mailing notification to relevant person.
Authorization service

Provide setting function for authorization policy.
Users with existing AD / LDAP authentication environment, the environment connect OpenStack as the authentication source.

×
Ceph Monitoring & Alert

 

Plug-in Services Description
APP for Ceph Monitoring & Alert Cephの管理を容易する監視・アラート機能を備えたモバイルアプリ
Ceph Monitoring & Managements  OSDなどによるエラーが発生・修正した場合、アラートメッセージがユーザー側のモバイル画面に表示する
×
Ceph Accounting

 

Plug-in Services Description
Ceph Accounting リソースの使用量を計測して課金する機能
×
VMware integration

 

Plug-in Services Description
VMware integration VMWareとの統合が可能
×
File Server & HA

 

Plug-in Services Description
File Server & HA NFS/CIFSなどのファイルサービスにHA(高可用性)を提供
×
Hadoop integration

 

Plug-in Services Description
Hadoop integration CephのRadosGWにてHadoopと連携
×
S3 Portal integration

 

Plug-in Services Description
S3 portal integration Amazon S3と連携するWeb管理インターフェイスを提供
×
Backup & Restore

 

Plug-in Services Description
Backup & Restore 1.ユーザーデータ向け
2.システムデータ向け
3.完全バックアップと増分バックアップ
バックアップサーバーと中継サーバを一台ずつで全面的なバックアップソリューションを提供
×
DR Solution

 

Plug-in Services Description
DR Solution Ceph-MONを3か所の遠隔地に分散配置し、良いレイテンシを持つ専用のネットワーク線を利用してリモートバックアップソリューションを実現
×
Performance Tuning

 

Plug-in Services Description
Erasure Coding Erasure Codingで格納キャパシティーを節約できます
Cache Tiering 高速ハードディスクでキャッシュプールを構成し、Cephの性能を向上させます
Storage Tiering 複数種類のハードディスクを使って階層を作り、データの特性に応じてそれぞれ最適のストレージ階層に振り分け
×
download test

[email-download download_id=”3247,3245″ contact_form_id=”3219″]

×
download test1

[email-download download_id=”3226″ contact_form_id=”3219″]

×
download test2

[email-download download_id=”3230″ contact_form_id=”3219″]

×
Ceph 主要功能

 

功能 說明
Scale-out storage 增加儲存節點即可橫向擴充容量與效能
Data Replication 將資料複製成多份並存取於多個不同的儲存節點上以確保資料可靠度與可用性
Thin provisioning 透過儲存資源隨選配置,讓儲存資源配合實際使用需求而更有效地被利用
Snapshot Technology 以快照儲存技術將目前硬碟上之資料狀態紀錄下來以達到即時備份/還原之效果
Load Balancing 將資料請求及傳輸劃分至多台儲存節點以達到負載平衡並預防單點失效
Dashboard 透過集中管理儀表板讓使用者一目了然的掌握儲存叢集之健康狀態
Cache Tiering 使用SSD快取技術大幅加強I/O存取效能
Storage Pool 以自動分層儲存技術,將頻繁存取的熱資料區塊移至高速儲存層,並將較少存取之冷資料移至低速層,達到效能與成本兼顧
Erasure Coding 相較Replication技術,Erasure coding更加節省整體存取空間,但也將消耗更多的CPU資源
×
Ceph Main feature

 

Feature Description
Scale-out storage Capacity and performance can be dynamically increased by simply adding more nodes
Data Replication Data are duplicated and stored on multiple nodes to ensure data availability
Thin provisioning Storage utilization optimized by assigning the appropriate storage resources according to actual usage
Snapshot Technology Instant backup and recovery for continuous data protection
Load Balancing Data requests and delivery are distributed across multiple storage nodes to avoid single point of failure
Dashboard Cluster health status at a glance with easy-to-read interface
Cache Tiering SSD caching for data store to enhance lightning-fast data delivery
Storage Pool Data could be classified and stored in the most appropriate pool (SATA, SAS, or SSD) for efficient data management
Erasure Coding A method of data protection that saves more space for data store while consuming more CPU power
×
Ceph 主な機能

 

Feature Description
Scale-out storage ノード台数を増設することで容量及び性能を拡張できる
Data Replication データの複製したレプリカをノードごとに分散配置し、データの高可用性を確保
Thin provisioning 使用者の使用ニーズに合わせたストレージ容量の配置を最適化
Snapshot Technology ある瞬間のディスク上の資料状態をスナップショット技術でバックアップ・リカバリを実現
Load Balancing データの処理を複数のノードに分散して行う負荷分散技術で単一障害点を防ぐ
Dashboard ダッシュボードの画面にストレージクラスターのヘルス状態が表示され、使用者は容易にモニターできます
Cache Tiering SSD階層化技術でシステムのI/O性能を向上させる
Storage Pool 複数種類のハードディスクを使って階層を作り、データの特性に応じてそれぞれのストレージ階層に振り分けられ、より効率的なデータ管理を実現
Erasure Coding Replication技術よりも、Erasure codingは全体的のストレージ容量を節約できるが、CPUリソースをより大量に消費
×
Red Hat OpenStack (CL210)

 

課程目標

  • Through hands-on labs, students will explore manually installing each service of Red Hat Enterprise Linux OpenStack® Platform, and will also look at the future plans of the OpenStack development community.
  • 課程大綱

  • Get an overview of the Red Hat Enterprise Linux OpenStack Platform architecture
  • Install Red Hat Enterprise Linux OpenStack Platform using packstack
  • Deploy each Red Hat Enterprise Linux OpenStack Platform service manually
  • Manage users and projects
  • Deploy instances, and use Heat to deploy and customize instances。
  • 課程項目

  • Introduction
  • Deploying with Packstack
  • Launching an Instance
  • RabbitMQ Message Broker
  • Keystone Identity Service
  • Swift Object Storage
  • Glance Image Storage
  • Cinder Block Storage Service
  • Neutron Networking Service
  • Nova Compute and Controller Services
  • Nova Compute nodes
  • Ceilometer Telemetry Service
  • Heat Orchestration Service
  • Future of Red Hat OpenStack
  • Comprehensive Review
  • 時間表 Day I


    Introduction
    Deploying with Packstack
    Launching an Instance
    RabbitMQ Message Broker
    Keystone Identity Service

    Day II


    Swift Object Storage
    Glance Image Storage
    Cinder Block Storage Service

    Day III


    Neutron Networking Service
    Nova Compute and Controller Services
    Nova Compute nodes
    Ceilometer Telemetry Service

    Day IV


    Heat Orchestration Service
    Future of Red Hat OpenStack
    Comprehensive Review

     

    ×