【展望後疫2022新趨勢3】IT現代化成為主流,SRE成為IT團隊必備新能力

製造業擁抱SRE的需求則更是多樣化,以製造GPS聞名的Garmin,要招募SRE來維運自家部署在K8s上的生產製造系統MES,來提高關鍵產線IT系統的韌性

新興科技人才的搶奪,能反映出企業擁抱新興技術的態勢。像資料科學家、AI人才從幾年前開始火熱,近兩年則是資安人才供不應求,都反映出企業在AI和資安應用需求的爆發。

在2021年,有一類新興人才的需求開始在臺浮現,不只職缺數量開始增加,需求產業也從網路科技公司為主,逐漸蔓延到金融、零售、高科技製造、媒體,甚至是物流業者,就是網站可靠性工程師SRE(Site Reliability Engineering)。

Google在2016年將自家服務維運心法對外公開,打造成了一套確保全球性服務高可靠度的SRE維運方法論,還出書大力推廣,不少大型網路公司或科技公司後來競相仿效,SRE成了網路維運團隊的指標性作法。

隨著數位轉型浪潮崛起,越來越多企業上雲來提供跨國性服務,為了確保自家服務不中斷,其他產業開始有大型企業跟進擁抱SRE。2019年前後,金融業如新加坡星展銀行,或是零售巨頭美國Target,都開始成立自己的SRE團隊,積極導入SRE維運作法或工具。

臺灣擁抱SRE的腳步相對較慢,幾年前,只見極少數的網路公司,例如直播平臺17Live集團,開始嘗試這個國外火紅的維運新方法,直到2020年,開始有大型金控、製造業者接觸SRE維運理念,甚至展開嘗試,也開始有網路公司、科技新創在臺招募SRE。

臺灣越來越多產業要招募SRE

2021年初,明顯出現不少企業要招募SRE職缺,104求職網站在4月時的SRE職缺高達70筆,到了年底,職缺數量翻了一倍,超過150筆。不只更多網路原生公司,年初SRE職缺以銀行業、零售流通、高科技製造業較多,到了下半年,連網路設備商、儲存產品商、房仲、保險、物流、媒體、百貨業者、線上電商都要招募SRE職缺。

SRE不是通用型的維運人力,而是特別適用於雲端原生環境,提供不中斷雲端服務需求的企業。但是臺灣這群需要SRE的企業,可不只有網路公司或科技新創,還有更多種截然不同類型的產業,都想找SRE。

需要借重SRE團隊的公司,勢必是大力擁抱雲端原生技術的企業。對網路公司、科技新創而言,雲端原生技術是本性,隨著服務規模越來越大,也就越有不中斷的需求。如遊戲業者、網路服務公司都因此而越來越需要專業SRE維運人才。

這兩年的後疫零接觸商機,讓數位通路成為接觸消費者最重要的管道,網路商城或線上服務因搶購、塞爆當機事件頻傳,越來越多實體零售業者大力發展數位通路時,開始壓寶雲端原生技術,也更重視服務可靠性,SRE就成了他們的必須人才,諸如誠品、生活市集、蝦皮娛樂電商都是如此。

但對傳統的大型企業來說,擁抱SRE意味著,他們不只展開了IT現代化工程,而且更進一步,雲端原生技術成了他們重要的核心技術,推出越來越多數位化服務或產品,都需要更高可靠性的維護。

這正是像大型金融機構如玉山銀行、國泰世華銀行,在2021年積極招募SRE的緣故,這兩家近幾年都展開了數位轉型的IT大改造,為了發展更多數位金融新服務,銀行核心系統架構,也開始採用雲端原生技術,例如容器、K8s、微服務架構等,而中國信託銀行則正展開新一代核心系統改造,開始提前大舉招募相關人力,其中就包括了SRE。其他金融業者如保誠人壽、新安東京海上、大慶證券等證券、保險業者,同樣都是跟進銀行轉型趨勢,開始擁抱雲端原生技術而開缺。

不只銀行為了發展新型態業務而需要SRE,例如信義房屋同樣是為了發推動數位轉型,要打造新一代Web應用來拓展新業務的轉型專案之用,而積極培養SRE架構師。

製造業擁抱SRE的需求則更是多樣化,以製造GPS聞名的Garmin,要招募SRE來維運自家部署在K8s上的生產製造系統MES,來提高關鍵產線IT系統的韌性,將其視為不可中斷的雲端服務來維護。另有多家製造業者,同樣為了維護內部K8s叢集而需要招募SRE,例如合勤旗下網通產品公司,或像鴻海則是為了開發和建置5G相關平臺和服務,而需要SRE,這是鴻海發展智慧工廠新一代網路基礎設施的關鍵。

甚至,連台積電都要在今年下半年開始在104網站上,開出SRE職缺,雖然台積電沒有說明招募SRE的原因,但從招募資料來看,各項雲端原生技術,如DevOps、K8s、GO語言都是必備能力。

SRE能力將成為企業IT新課題

從臺灣不同產業對SRE的招募需求,更透露出這些企業不只擁抱雲端原生技術,他們以全球性服務或是大規模雲端服務為目標,追求更高可靠性的數位韌性,這是為何需要用到這種高階維運人力的主因。

這些臺灣大型企業,趁著轉型之際,紛紛展開IT現代化工程,來擁抱雲端原生技術,才帶動了這一波SRE人才需求的崛起。

但是,展開轉型的企業不只這一群,更多企業這兩年因為疫情展開轉型,或者老早就開始推動轉型,因疫情而加快腳步,雖然不一定需要或有足夠的資源,可以招募全職的專業SRE人才,但企業主對於服務不中斷的需求,對於雲端原生技術導入後的維護需求,都會陸續出現,這就會成為IT部門的新課題,企業IT團隊也要培養自己的SRE能力。

SRE方法論中的諸多作法,不究責文化、問題根源分析、SLO服務級別目標、SLI服務水準指標、錯誤預算(Error Budget)等作法,也會隨著越來越多企業推動SRE而開始流行,成為企業IT得認真思考採用的新作法。Google每年一度的DevOps調查報告更建議,SRE是DevOps最佳的互補策略,可以讓企業從開發、部署到維運都能更高度的自動化。這些作法都會成為IT人在2022年的技術成長課題。對IT團隊而言,SRE方法論是更貼近業務角度來思考IT系統的維運,能讓IT發揮更大的業務影響力和價值。

2021年臺灣IT圈的關鍵字是「微服務」,許多企業開始擁抱雲端原生技術,嘗試微服務架構,展開IT現代化之路,但SRE正是這段旅程後半段的關鍵,「SRE」將會成為2022年的臺灣IT關鍵字。文⊙王宏仁

 

https://www.ithome.com.tw/news/148648

【展望後疫2022新趨勢4】超低功耗TinyML趨勢崛起,成為企業邊緣AI應用落地關鍵

電腦視覺是目前製造業常見一種邊緣AI應用,在疫情爆發後,這樣的需求更大大增加,為了將這項能力延伸到更多邊緣端,讓更多小型IoT或邊緣裝置,也能支援電腦視覺處理能力,用於各種產品檢測、環境及人員監控等,就需要TinyML的能力。

 

攝影/余至浩

2021年,因疫情帶動非接觸式作業新常態,加速企業AI技術落地,從雲端走向邊緣,但在此同時,越來越多雲端AI或ML應用,開始追求更高準確度、發展更多元更深化應用,不僅處理運算越來越複雜,還占用更多記憶體,也更耗電,也因此更難在資源受限的IoT或嵌入式邊緣裝置上執行,成了企業AI落地的挑戰。所以,一種微型機器學習(Tiny Machine Learning,TinyML)的新趨勢,近來趁勢而起,正是為了解決這個難題。

超低功耗邊緣AI應用需求出現,成了TinyML興起的關鍵驅力

TinyML是一種超低功耗的邊緣ML應用新型態,試圖從優化IoT或邊緣裝置上的硬體設計、ML模型、算法和應用軟體,來實現邊緣端AI或ML應用。

一般而言,TinyML適用的裝置類型,以IoT或邊緣裝置為主,因為這類裝置大多是電池驅動的超低功耗裝置,不僅採用高度省電設計,還支援全時待命(always-on),且硬體配置(包含CPU效能、資料吞吐量、記憶體與資料儲存等)遠低於現今的智慧型手機。

以IoT裝置常用Arm低階處理器為例,一顆MCU通常僅有256 KB記憶體和1MB的儲存空間,跟最新款iPhone 13 Pro手機配有高達6GB記憶體和1TB儲存空間相比,兩者硬體配置資源相差懸殊,這也使得想在這一類裝置上提供ML功能,就很容易遇到效能瓶頸,甚至這種超低功耗ML應用要求每次執行ML模型推論時,其功耗必須小於1毫瓦。這正是TinyML應用興起的關鍵驅力,是未來能否讓企業AI真正落地的重要關鍵。

尤其,在過去一年,企業對邊緣AI需求持續增長,使得TinyML近來發展越來越受矚目。根據iThome 2021 CIO大調查,2021年有多達2成企業因為積極轉型跟進投資布局邊緣AI相關技術,用在設備上的異常檢測、狀態監測和預防性維護等。許多過去採用者也持續加大投資力道,例如面板大廠友達,這些年早就在工廠部署近4千個邊緣AI裝置,來發展各種邊緣AI應用。隨著企業邊緣AI應用越來越火紅,也讓TinyML需求日益增加。

純電池驅動的IoT或邊緣裝置未來也能具有ML能力

從應用角度來看,電腦視覺也是目前製造業常見一種邊緣AI應用,還沒疫情前,許多製造公司早就開始在生產環境中,以電腦視覺結合攝影機,用於AOI瑕疵檢測、流程優化和自動化等,在疫情爆發後,這樣的需求更大大增加,用來打造零接觸作業環境,藉此降低人與人接觸的風險。為了將電腦視覺能力延伸到更多邊緣端,讓更多IoT或邊緣裝置,也有產品檢測、環境及人員監控處理能力,就需要TinyML的能力。

也因為有了TinyML處理能力,企業能在許多純電池供電的IoT或邊緣裝置開始提供ML能力,這也意謂著,未來邊緣AI應用設計和部署上,企業可以考慮採取更多彈性作法,像是使用可移動式的邊緣AI攝影機,來根據製造現場變動機動調整與快速因應,不只提供單點設備異常檢測,也可以支援多點檢測。

不光是製造業,許多產業也能因此而有更多不同邊緣AI應用出現。像是農業使用許多IoT感測器裝置,以後可以結合AI異常偵測,除了能偵測土壤溫濕度變化,也透過AI即時找出生長異常的農作物和檢測有無害蟲。不少醫院也有各種醫療檢測裝置,能監測病人生理狀況,未來同樣能搭配AI影像辨識提高病人醫療照護效率。甚至在零售物流業上常見的AGV搬運機器人,透過加入AI視覺偵測能力,也能因此變得更聰明。這些電池驅動的AIoT或邊緣AI裝置,正因為有TinyML才能夠辦到。

隨著硬體逐步到位,TinyML應用有望在2022年起飛

現階段TinyML發展,主要從ML模型與硬體優化來實現超低功耗裝置的ML應用。Arm也歸納了實現TinyML的5種常見ML模型架構和優化的方法,包括降低精度、資料重覆利用、權重壓縮、轉換、稀疏運算等。

針對這種超低功耗的邊緣AI應用型態,近來有越來越多學術或研究機構投入研究,像是MIT與IBM共同成立的Watson AI Lab實驗室團隊最近開發出新的神經網路架構MCUNetV2,就是為了因應TinyML需求而設計,能將MCU處理器執行CNN算法所使用記憶體,減少到現行ML算法的4到8分之一,透過MCUNetV2神經網路架構來建立CNN模型,在ImageNet圖像分類測試中,僅需使用465KB記憶體,就可達到近72%的辨識準確度。

目前一些主流ML框架也能支援TinyML應用。例如Google原本就有推出輕量版TensorFlow Lite框架,可以將訓練完的ML模型轉換成體積更小的TinyML模型,部署到各種低功耗硬體上,除了能支援Arm Cortex-A、Cortex-R處理器,後來還推出可在更低階Cortex-M處理器執行ML模型的版本,Cortex-M也是目前物聯網和嵌入式應用主要採用處理器,可用於人員偵測、手勢辨識、字詞偵測等。

除了優化ML模型和架構外,在硬體設計過程中,也有一些新作法,來因應TinyML需求。Arm在兩年前發表Arm Cortex-M55處理器IP產品中,首度將機器學習能力帶進IoT硬體中,讓IoT晶片開始支援TinyML應用,如果從產品推出到真正進到市場大約需要2年來估算,預期2022年開始會有相關產品推出。

Arm當時還有發布另一個神經網路處理器IP產品Arm Ethos-U55,不僅省電,在AI效能更獲得百倍提升。除此之外,還有AI晶片業者推出採取記憶體運算的硬體架構平臺,可執行DNN推論所需的運算,最多可處理113M (百萬)權重數量和提供每瓦4 TOPS運算能力。

市調機構ABI Research預估,到2022年時,採用TinyML晶片的邊緣AI裝置出貨量將達12億個。Gartner調查則指出到了2027年,每十臺邊緣裝置,就有6臺具備深度學習執行能力。

隨著TinyML越來越受到重用,對企業來說,更應該思考的是,許多雲端AI或ML應用落地後,未來如何部署和管理這些超低功耗邊緣AI裝置和TinyML模型,將成為企業AI落地的另一項考驗。

https://www.ithome.com.tw/news/148646

Google將開發新的AR作業系統、裝置

 

Google

在臉書改名Meta,掀起虛擬實境(VR)及擴增實境(AR)的產業浪潮後,先一步推出AR產品的Google將以新一代AR作業系統及裝置搶下話語權。

,他將主掌一個AR作業系統的開發團隊。他指出OS只是整個計畫的一部份,最終目標是提供「優異的用戶價值」,而主軸是在OS上開發的使用經驗功能。

這個團隊已開始招募人馬。,這個部門正在尋找開發行動裝置、穿戴裝置、Web、Console及桌機應用的人才。

,工作內容包括開發控制、管理AR裝置的軟體元件以及和AR裝置相關的相機軟體。Google表示OS底層團隊將是第一個和Google未來成立的「創新」AR裝置產品部門合作的單位。

9to5Google報導,這些職缺位於美國及加拿大安大略省滑鐵盧(Waterloo)市,。而AR OS部門將歸屬在Google裝置及服務部門,與Pixel手機、智慧螢幕Nest或智慧型手錶同一事業群。

事實上Google 很早即投入AR領域。,Google開發手機AR平臺ARCore以深度感測配合Pixel 4的毫米波雷達,期能發展AR應用。然而相關應用皆未起飛。,今年更改名Meta宣示轉型AR應用開發,掀起元宇宙(metaverse)的產業浪潮,聲勢上似乎後來居上,顯然也促使Google革新再起的想法。

Google也不是唯一有動作的業者。一直傳聞開發智慧眼鏡的蘋果,,可能在明年推出一款支援Wi-Fi 6E、著重電玩、影音及通訊的高階混合實境智慧型頭戴裝置。

https://www.ithome.com.tw/news/148366

【小國AI大戰略關鍵推手:前科技部長陳良基看冠軍模型】YOLOv4證明臺灣AI有實力成為世界標竿

前科技部長陳良基 (攝影/洪政偉)

「臺灣的AI研究有這個實力,可以成為世界標竿,站上最頂端!」前科技部長陳良基談起YOLOv4,眼睛都亮了起來,他說:「這個AI模型證明了臺灣可以做得到,以前有這實力但不敢嘗試,現在,可以到各領域的國際頂尖領域拼戰。」

YOLOv4模型的誕生,來自科技部在2017年發起的「小國AI大戰略」中,「業界出題、學界解題」政策所補助的計畫之一。由義隆電子提問,中研院團隊解題,為了解決路口車流影像分析的難題,才誕生了YOLOv4物件偵測模型,在微軟COCO即時物件偵測挑戰賽中,一舉奪下全球第一,打敗了Google、臉書、IBM等科技巨頭。

陳良基正是這項小國AI大戰略的主要推手,他也等於是冠軍模型的間接催生者之一。所以,講起這個冠軍模型的源頭,話匣子就停不下來。

「將來誰掌握了數據的科技,在未來的時代就會占優勢。現在是第四次工業革命的進行式,臺灣也要順流而上,搶在浪頭上,發揮原有優勢。」

資料、演算法和算力,這是現在各國大力發展AI戰略的三大關鍵,但在4年前,並不是每一個國家都願意如此樣樣壓寶。以晶片研發享譽國際的陳良基,在學校從事研究時,就相當清楚演算法的威力,AlphaGo打敗南韓棋王的故事,讓他驚覺到,AI技術已經走出實驗室,變成了真實世界的應用。

沒有掌握AI新電力,所有競爭力都會下滑

當時陳良基就意識到AI發展,對臺灣未來競爭力的發展,非常關鍵。「明天AI若變成新電力,我們若沒有掌握這個能力,所有競爭力都會下滑,這也代表AI會滲透到各個領域,需要各方面的領域知識。」所以,當陳良基在2017年入閣擔任科技部部長時,就將那一年定為臺灣AI元年,開始在臺灣大力推動AI。

但是,臺灣不是大國,許多企業的規模也沒那麼大,「如果什麼AI都做,分散資源,最後可能一點機會都沒有。」他回憶當時決定過程。所以,他在行政院院會報告AI政策方向時強調:「AI戰略應該慎重以對,採取小國大戰略,先承認我們的資源不夠,選定對臺灣未來的重要項目,猛力去攻,才可以打敗第四次工業革命中的世界強國。」

大戰略選定了AI,但在戰術執行上,要怎麼聚焦,才能善用有限的資源?當時為了思考臺灣的AI戰略,陳良基和科技部團隊,拜訪了好幾個國家,英國、德國、法國等,來了解他們的AI策略。AI論文數是各國思考AI策略時,經常用來衡量國家AI研發實力的指標。但臺灣人口少,再怎麼比論文數,全世界排名還是處於20名左右,很難名列前茅,「如何能夠拿到非常獨特,甚至是全世界都還沒有人知道的題目。」陳良基換個角度思考:「如果我們可以先解出答案,不論數量多少,每一篇都會受到全世界看重。」

但誰能知道「未來的題目是什麼?」若從臺灣學界實驗室擅長的題目來選,每個實驗室都覺得自己的題目最重要,還是難以抉擇。陳良基的原則是「誰在第一線戰場,敏感度就會最高。」所以,他決定改由業界提需求來找出優先議題,「業界未來產業要AI化、或是需要AI如何加持,最欠缺什麼AI技術,就透過學界研發團隊來補足這個缺口。」

這個戰術角度的轉換,就催生了「業界出題、學界解題」模式。後來,科技部組成了專家小組進行海選,要找出臺灣得優先推動的AI課題。陳良基對海選小組提出一個要求,最後挑選出來的專案,必須將來有機會落地。由產業和學界聯手,有機會能結合臺灣產業優勢,未來發展成產業生態鏈的專案。

最後選出了28個計畫,為了提供行政協助,科技部在大學中,成立四大研究中心,但旗下計畫都採取產學融合的型態來進行。義隆電子和中研院合組團隊的計畫就是其中之一。

業界不只貢獻題目,也提供了自己的「資料」

「業界出題、學界解題」模式,是一種「以終為始」的思考策略,「不是單看一家研究機構實力很強就通過計畫,而是以未來的目標,來決定怎麼組合團隊。」陳良基解釋。

業界不只貢獻了題目,也提供了自己的「資料」,讓學界可以研發「演算法」,但在AI發展三大關鍵中,只剩下最後一個環節「算力」。

「算力是臺灣的優勢」,陳良基解釋,臺灣擁有半導體產業,也是PC王國,大廠的伺服器都是臺灣製造,「如何運用這些技術,對臺灣來說不難。」所以,在科技部AI計畫中,要投資50億元,來發展AI需要的運算環境。後來,後來由國網中心與廣達、台灣大、華碩組成AI 硬體國家隊,用了半年多的時間合力打造出AI超級電腦「台灣杉二號」,在2018年11月拿下世界排名第20名,再次超越了臺灣歷年排名記錄。

「國家幫忙建造運算環境,AI研發團隊專注各種不同的領域知識,用那些領域的資料來建立演算法和平臺。」如此一來,所有需要AI訓練的團隊,就可以有一個能夠快速學習的環境,陳良基強調:「如果沒有好的環境,一個想法要隔兩三個禮拜才能驗證,創新熱度就會消失,若讓想法可以很快證明,就能很快再想另一個點子。」

YOLOv4不只帶給學界信心,也讓業界更信賴學界研發實力

YOLOv4比起其他常見的R-CNN類物件偵測模型更優秀,在年秋季舉辦的微軟COCO即時物件偵測挑戰賽中,一舉奪下全球第一,擊敗了美國AI巨頭Google、臉書、IBM等,甚至這個第一名,YOLOv4穩坐了好幾個月,沒有其他競爭模型可以超越。這在激烈的AI技術競爭上,非常少見。

「當你不是做別人已經解過的題目,而是解別人沒有辦法解的題目,越創新,就越能有這個優勢,」陳良基剖析,不只是YOLOv4,接班的YOLOR架構也是全新的想法,跟前面v1、v2、v3甚至是v4版都完全不同。「修改別人的問題,和嘗試創新突破,思考的時間可能一樣,訓練的時間可能一樣久,但你設定標竿的目標,就會走在頂尖的方向上。」

當年他還不敢大聲喊出,希望臺灣成為AI標準的制訂者。因為大力推動AI時,他也曾遭質疑是講大話,甚至被批評科技部將資源過度集中到單一領域中,但是,「不試試看,怎麼知道呢!」他自己這樣打氣的說。「YOLOv4模型就是證明臺灣可以做得到,可以成為世界標竿,站到最頂端,我們研究人員有這個實力,這對臺灣其他研究者可以帶來信心。」

陳良基觀察,YOLOv4自己也成了一個世界級平臺,國外很多人透過開源方式,運用這個模型來展示的應用,也越來越多,「這對國內企業和學界也是一個非常好的標竿。」

這樣的指標帶來另一個意義,他補充,企業以前考慮頂尖技術時,都覺得國外團隊比較厲害,臺灣企業跟臺灣團隊合作時,都會秤斤秤兩,有一種給你好處的味道,「YOLOv4可以讓企業知道,最厲害的團隊就在你身邊,不用捨近求遠,反而找國際知名研究團隊。」

陳良基對臺灣AI發展還有一個有待實現的大夢。YOLOv4證明了臺灣技術可以比國際大廠厲害,一項又一項創新技術,「若能發展出一家家新創,每一家都有獨門絕活,組成產業聚落,全世界任何品牌要推AI在地服務,臺灣可以成為底層服務的供應者。」他認為,AI代工轉型可以是臺灣的下一個發展方向。

https://www.ithome.com.tw/news/148304

Meta與IBM等業者成立資料聯盟,以避免基於AI的招聘系統產生偏見

情境示意圖,photo by Clem Onojeghuo on unsplash

,將共同打造一致的標準,以減輕人力資源與勞工決策中所存在的資料及演算法偏見,包括招聘、薪資及員工發展等。

Data & Trust Alliance的創始會員包括美國運通(American Express)、CVS Health、Deloitte、Diveplane、General Motors、Humana、IBM、Mastercard、Meta、Nielsen、Nike、Under Armour與Walmart,它們的員工總數超過350萬名。

該聯盟表示,其成員有一個共同的信念,即相信於即將到來的時代中,資料與智慧系統為創造經濟及社會價值的關鍵,但必須負責任的部署。

其實上述成員已經開始利用資料、演算法與人工智慧來尋找人才,包括仰賴那些已採用AI及機器學習的人力銀行、人才網站、顧問公司或招聘公司,然而,它們同時也認為利用相關技術的最大風險為可能隱藏著不公平的偏見。

因此,Data & Trust Alliance建立了演算法偏差保護措施(Algorithmic Bias Safeguards),首個計畫就是「演算法的安全性:減少勞動力決策的偏見」(Algorithmic Safety: Mitigating Bias in Workforce Decisions),以協助企業根據相關標準來評估招聘服務的供應商,之後也會將該保護措施整合到企業的程序中。

目前Algorithmic Bias Safeguards設計了13種類別的55個問題,以作為評估供應商的標準,涵蓋訓練資料、模型設計、偏差測試方法、偏差矯正、透明化與問責、AI倫理與多元性承諾等。

https://www.ithome.com.tw/news/148279

Google在行動鍵盤Gboard使用聯合重建技術改進推薦品質

Google揭露行動裝置鍵盤Gboard,所使用的新聯合學習(Federated Learning)技術,這項技術被Google稱為,目標是要大規模進行部分本地聯合學習,使得在訓練模型時,讓部分模型參數永遠不會在伺服器聚合。

Google提到,在矩陣分解(Matrix Factorization)用例,他們推薦使用聯合重建,因為可以將用戶的嵌入保留在用戶的裝置本地端,也就是說,在訓練模型時,針對每個用戶完全個人化,但是又能避免這些參數交流。Google將這項聯合學習技術部署到Gboard中,提供數億鍵盤使用者更好的推薦結果。

聯合學習技術讓用戶能夠在不將原始資料發送到中央伺服器的情況下訓練模型,進而避免隱私敏感資料被收集。傳統聯合學習技術,通常所有用戶擁有單一全域模型,像是行動鍵盤應用程式的用戶,會共同訓練建議模型,但因為每個人對建議有不同的偏好,這種差異驅使全域模型可針對每個用戶進行個人化。

但研究人員解釋,在特定情況下,因為隱私的考量,可能無法訓練全域模型,像是推薦系統的矩陣分解模型,要訓練一個完全全域模型的聯合模型,將會需要發送用戶嵌入更新到中央伺服器,而這個動作可能會揭露嵌入中用戶的喜好,而且即便模型沒有使用者特有的嵌入,將部分參數完全留在使用者裝置上,也能夠減少伺服器和客戶端的通訊,並且負責任地替每個使用者個人化這些參數。

過去部分本地端聯合學習方法使用有狀態演算法,這會需要用戶的裝置儲存多輪聯合訓練的狀態,也就是說,這些方法需要裝置跨輪儲存本地參數。在大規模聯合學習環境中,這些演算法往往不夠實用,因為大多數用戶不參與訓練,而參加的用戶可能僅參與一次,導致狀態很少可用,或是在數輪之後狀態過於陳舊,此外,不參與的用戶都沒有經過訓練的本地端參數,也就阻礙了實際應用。

而聯合重建技術是無狀態的,用戶裝置不需要儲存本地端參數,當用戶參與訓練時,在更新任何全域模型參數之前,會在全域參數凍結的情況下,在本地端參數上使用梯度下降法,隨機初始化和訓練本地端參數,接著便可以在本地端參數凍結的情況,計算全域參數更新。聯合重建方法不假設用戶具有前幾輪的訓練狀態,如此便能實現大規模訓練,並且不斷重建本地端參數,避免參數過時。

Google為了驗證聯合重建在大規模用例的實用性,便將演算法部署到擁有數億使用者的Gboard中。Gboard用戶使用GIF和表情符號與其他人交流,而用戶對於這些情緒表達有高度的差異,因此剛好非常適合使用矩陣分解,來預測用戶想要分享的情緒表達。

Google在用戶情緒表達歸類上使用聯合重建,訓練了矩陣分解模型,將用戶嵌入留存在每個Gboard用戶的本地端,然後部署使用該模型,研究發現表達推薦的點擊率大幅增加29.3%。

https://www.ithome.com.tw/news/148492

【冠軍模型催生關鍵:業界出題學界解題模式】一場會議催生世界第一物件偵測模型YOLOv4,一張GPU就跑得動

義隆電子與中研院團隊將物件偵測模型YOLOv4部署於道路號誌燈旁的槍型攝影機和魚眼攝影機,可精準辨識各種車輛、計算車流。有了這些資訊,就能進一步進行路網號誌燈的控制,根據路況來優化、調節號誌燈。(圖片來源/廖弘源)

YOLOv4的誕生由一場會議而起。

2018年的一個春天,中研院資訊所廖弘源特聘研究員團隊成員們坐在會議室裡,盯著投影簡報上的10道題目。當時沒人知道,這些題目最後會催生出驚艷全球AI社群的物件偵測模型。

那是義隆電子與中研院團隊第二次聚會討論,他們因科技部的「業界出題、學界解題」AI計畫相識,共同展開為期4年的改造計畫。那些題目,都是義隆電子研發產品時遇到的挑戰,幾乎都圍繞在電腦視覺上。中研院團隊的核心人物、中研院資訊所所長廖弘源也以「實用」和「能以科學方法解決」這兩個原則,共同篩選出5道題,並從中整理出3項關鍵技術,來集中火力研究。

瞄準3技術,解題模型要輕快準

這3項技術,分別是行人重識別、魚眼鏡頭車流分析,以及手機人臉防偽造。中研院資訊所博士後研究員王建堯解釋,第1項是要辨識同一人在不同場景出現的情況,比如在賣場中,辨識四處移動的消費者,來了解他們的移動軌跡和商品偏好等行為。

第2項技術,是要透過裝設在交通號誌下的魚眼鏡頭,來分析道路車流,進一步調控交通號誌燈。至於人臉防偽造,是要防止手機人臉辨識時,有心人以照片或面具來混淆辨識系統。

這3種技術雖有各自的應用場景,但其實,它們都面臨同一道挑戰——如何在運算資源不足的低階設備上,執行AI推論且達到高準確度。比如,2018年的手機運算資源有限,大多未內建AI加速晶片,團隊得開發出輕量、準確且快速的AI模型,才能在手機上執行臉部防偽辨識。又比如,要利用魚眼鏡頭畫面來分析車流,只能仰賴交通號誌燈下的簡易供電系統,得選用功耗較低的Nvidia Jetson TX2開發板,運算資源只有一般GPU的十分之一,因此AI模型也得又輕又快又準,才能達到要求。

三番兩次研發新方法,拉高15%準確率突破通用性瓶頸

廖弘源帶著研究員王建堯,負責實踐第1項技術。成功開發出符合要求的辨識系統,但後來考量,這種在公共場所辨識個人的技術,日後可能涉及隱私議題,第一年還沒結束就決定終止,不再繼續研究了。

而第2項技術,原由另一組中研院團隊負責。這道題同樣為期4年,每年訂出階段目標。2018年,計畫第一年要完成魚眼車流分析,第二年則是實現路口停等車隊與車流分析、混流車牌識別、行車魚眼多物件追蹤等任務,2020年要結合前兩年的技術,來建立路口交通號誌控制系統。2021年,則進一步完善智慧交通路網號誌控制系統,透過混流車牌識別技術,以科技執法來揪出違規車輛。

在2018年展開計畫後,原團隊採用當時熱門的開源物件偵測模型YOLOv3,來分析魚眼鏡頭拍攝的十字路口畫面,進一步辨識車輛、車種,並計算車流量、平均速度、路口平均佔有率等。

這套基於YOLOv3的模型,能良好辨識在訓練資料集有涵蓋的場景,但將模型部署到臺中主要幹道的真實場域後,辨識準確度反而下滑了,只有80%左右,無法達到專案要求的90%。

YOLOv3已是世界級的物件偵測模型,但研究團隊調校再調校,仍無法解決問題在真實場域中準確度不足的問題。這時,終止第1項技術研究的廖弘源和王建堯加入了第2項技術團隊,來解決這個瓶頸。

為了解題,也為了配合硬體資源限制,王建堯先是參考了輕量的物件偵測模型ResNet,改良其學習策略,開發出一套快速、低功耗的輕量級電腦視覺模型PRN。PRN雖比YOLOv3快上兩倍,但準確度比YOLOv3差。

第一次嘗試失利,但王建堯再接再厲,2019年研發出CSPNet,提高模型梯度組合,也最大化梯度多元性,一改卷積網路為人詬病的梯度消失問題,大大提高模型學習效率。CSPNet不只耗費的硬體資源更低,準確率也更高。

更重要的是,CSPNet部署到真實場域後,面對訓練時未見過的場景,「辨識準確率比基於YOLOv3的模型高出15%!」終於解決前一年難以突破的瓶頸,王建堯回想起來,還是難掩興奮:「CSPNet可以用差不多的速度,突破90%準確率,甚至接近95%!」他點出,這也是義隆電子印象深刻之處,更證明了CSPNet更通用的能力。

開源習慣養出YOLOv4

2019年11月,王建堯按照慣例,也將自行研發的CSPNet專案程式碼開源。有別於學界常用Python來開發AI模型,熟諳晶片軟硬體技術開發的王建堯,自己從2018年開始,就用業界常用的C和C++程式語言,搭配YOLO專用的深度學習框架Darknet來開發模型。因此,不論是PRN還是CSPNet,他一律開源,貢獻給YOLO社群,也因此與社群培養出緊密的關係。

「我們開源模型,來尋求原版框架的支援,因此而獲得在GitHub與YOLO社群上的密切討論。」王建堯回憶,他開源的模型,通常會在短時間內獲得Darknet支援,也數次被納入電腦視覺界重要的函式庫OpenCV中。他也會將開發出的新功能程式碼,直接交由YOLOv3 Darknet的維護者Alexey Bochkovskiy處理,新增至新版模型中。這次合作也讓王建堯與Alexey Bochkovskiy開始熟悉,後來Alexey更成了將YOLOv4帶進國際社群的關鍵人物,也名列YOLOv4共同作者。

因為,2019年那次開源後,Alexey Bochkovskiy立刻就被CSPNet吸引。他主動聯絡廖弘源和王建堯,要用3種GPU來測試CSPNet性能,還要進一步以CSPNet,開發下一代YOLO模型。

不出所料,CSPNet在3種GPU測試中都拿下第一,三方也緊接著在2020年初著手打造新模型。他們以CSPDarkNet53為新模型的Backbone,來加強卷積網路學習能力,Neck部分則加入空間金字塔池化層和PANet,前者用來強化接受區域(Receptive field)作用,能將最重要的特徵區分出來,後者則取代YOLOv3的FPN,在不同等級的偵測器中聚合參數。Head的部分,則採用YOLOv3。

過程中,這三人不僅分工開發,Alexey Bochkovskiy也拿著論文草稿,來與YOLO前三代的原作者一一討論。在一連串的努力下,去年4月,YOLOv4正式發表。

別讓我知道資料長怎樣!高標準測試讓YOLOv4一問世就成第一

他們對YOLOv4的講究,還不只如此。在測試模型通用性的關鍵階段,王建堯特別要求義隆電子團隊,「千萬別讓我們知道一部分的標註資料長怎樣!」這是因為,這麼做,模型開發者就不會根據那些資料來設計模型,而是採取更通用的設計方法。

而且,「訓練資料與測試資料完全無關,就像是盲測,測出的結果也更公平公正。」王建堯補充,正因為用更嚴格的標準來要求,模型實作出來後,成果往往比預期更好。

經嚴格標準打造的YOLOv4,在去年秋季舉辦的微軟COCO即時物件偵測挑戰賽中,一舉奪下全球第一,擊敗Google、臉書、IBM等擁有大量資源的科技巨頭。

這個第一名,YOLOv4穩坐了好幾個月。

這讓王建堯很訝異。他坦言,一路來,他和團隊只想著如何解決義隆電子難題,要打造一套模型,能在運算資源有限的低階設備上,又輕又快又準地辨識物件。當時,他們就發豪語要超越世界第一,來實現目標,「只是當我們做到後,我沒想過,其他人還沒跟上來。」王建堯解釋,那段時間裡,也有許多團隊在研發更好的物件偵測模型,但研發成果還不及YOLOv4,有段時間差。

他也認為,YOLOv4之所以能成為影響世界的AI模型,正因為有業界出題、學界解題這種產學共創模式。「這對AI技術發展很重要!」他點出,學界和業界容易存在技術落地的鴻溝,而產學共創模式,能讓學界了解業界面臨的實際問題,進而研發出能落地的技術。王建堯強調,業界少有「共享知識」的習慣,而學界研發新技術,幾乎得公開發表論文、開源模型,在知識的共享上更為開放。整合業界與學界的知識,就能產出令人驚豔的成果。

YOLOv4讓一般企業、個人都能負擔得起AI研究

不過,對他來說,YOLOv4最大的意義不在於輕、快、準,而是物件偵測技術的普及。「很多模型開源後,一般人不見得能用。」他解釋,因為這些模型大多得仰賴昂貴的硬體設備,如好幾百個TPU,甚至上千張GPU才能訓練模型。相反地,YOLOv4只需個人電腦上的1個GPU,就能訓練好模型、進行推論,甚至,它比科技巨頭用上千顆GPU訓練出的模型還還有更好的表現。

「YOLOv4最大的效果是,人人可做AI研究,而不只侷限於大科技公司!」王建堯說。

開發出YOLOv4後,王建堯也馬不停蹄展開新研究。因為,義隆電子在去年底,給團隊開出了一個新目標,不只要模型輕快準,還要能執行多任務,而且每個任務都要能做好。

https://www.ithome.com.tw/news/148299

聚陽迎旺季 7月營收登峰

進入高單價的秋、冬裝出貨旺季,聚陽(1477)公布7月合併營收37.18億元,創單月歷史新高,年成長21.94%;聚陽指出,第三季是出貨旺季,預期將會是今年單季高峰,第四季雖有通膨、升息、客戶庫存等因素影響,但是挑戰多、機會也多,整體看來,對今年營運一定好過去年,持審慎樂觀。

累計今年前七月合併營收190.3億元,年成長19.04%。聚陽表示,第三季是傳統出貨旺季,且部分客戶憂心年底物流、塞港而提前拉貨,也是第三季可望衝上今年單季營運高峰的原因之一。

目前手中客戶訂單,美洲地區客戶營運受通膨等因素挑戰,因客戶屬性與狀況不同,部分客戶有的成長、有些則會減少;占聚陽營收20%的非美洲地區客戶,仍維持強勁動能。

示波器鮮為人知的使用技巧?

一個典型的示波器通常是盒狀螢幕,有多個輸入連接,示波器至少包括探頭、顯示器和控制面板三部分

貨櫃屋改裝後可應用在哪些地方呢?

金誠貨櫃屋裝潢,可依客戶需求設計,不論是渡假屋、含廁所小套房、檳榔攤、警衛室、小吃店、展示間、辦公室、工具材料間、車庫,皆可依顧客需求搭配設計

塑膠射出成型加工商品有哪些?

塑膠粒預熱進料 : 將塑膠粒放入漏斗中,並且加溫預熱。可以乾燥塑膠粒並節省熔化時間

好的茗茶,更需要密封性高的茶葉罐,才能留住香氣!

鴻和興精密工業股份有限公司,是由在台灣專業生產茶葉罐、奶粉罐具有領先地位的光華金屬所投資組織成立的一家專業製造包裝材料之馬口鐵罐製造廠,秉持的專業、品質、服務、效率為各大客戶服務。

至於第四季,受通膨降緩服飾消費力、部分客戶獲利下降、庫存水位偏高,客戶下單模式改變,從長單轉為短單,考驗生產商快速反映能力。聚陽認為,具有快速應變能力,能因應客戶短單需求,正是公司的強項,第四季雖然有挑戰,但也充滿機會。

全球疫情改變品牌客戶下單模式,也讓供應鏈重組,聚陽觀察到,疫情期間,原為主流的家居服買氣降溫,取而代之的是,回歸正常社交生活所創造的外出服飾需求升溫,而戶外機能和流行潮牌服飾將再次成為消費者採購標的。

聚陽指出,積極進行生產基地多元化、品項擇優出貨、產品結構朝運動機能及戶外休閒等高值化調整,雖第四季在高通膨、部分客戶庫存增加下單動能趨緩、高原物料成本壓力下,營運變數可能增加,但今年訂單平均單價提升,全年營運二位數成長目標仍未改變。


5噸電動堆高機 & 2噸立式堆高機

不想忍受柴油堆高機帶來的廢氣汙染,電動堆高機將會是很好的選擇

空壓機這裡買最划算!

晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

信泰電機生產製作:鋁殼電阻、繞線電阻、剎車電阻、煞車電阻、大功率電阻、回升電阻回昇電阻、平衡電阻、陶瓷電阻、模擬負載、大功率繞線電阻器製造、燒機設備規劃及施工、變壓器及電抗器製造、自動控制器材零組件買賣、DC電源供應器製造、電子零組件製造業。

如興召開臨時董事會 張水江任新董座

在主要股東之一的偉豪投資轉讓持股超過選任時持股的1/2,如興(4414)董事長翁紹華的法人代表身分遭自然解任後,如興3日召開臨時董事會,推舉董事張水江先生擔任新任董事長。

偉豪投資是如興前十大股東,在董事會中握有三席董事。但,相關持股已被債權銀行全數處分。

如興在2日收到偉豪投資辭任函,翁紹華請辭法人董事職務。公司現任在職董事因此在3日召集臨時董事會選任新的董事長。

隨時健康喝好水,高品質飲水機,優質安全有把關

瀚洋飲水機永續經營於雲嘉南高地區,我們堅持一貫的理念,強調服務品質及維護時效,採e化保養管理

各種精緻鐵盒包裝茶葉罐、禮品罐,增加商品收藏及實用性。

鴻和興精密工業股份有限公司,是由在台灣專業生產茶葉罐、奶粉罐具有領先地位的光華金屬所投資組織成立的一家專業製造包裝材料之馬口鐵罐製造廠,延續光華金屬工業股份有限公司,30多年來一貫秉持的專業、品質、服務、效率為各大客戶服務。

空壓機這裡買最划算!

晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。

找尋貨櫃屋可客製化廠商,想改造成渡假村風格出租

金誠貨櫃屋出租,客製化的設計與服務搭配專業的工班,能夠提供全方位的貨櫃組合方案、配合您的需求,打造出一個完善的居住空間。


延伸閱讀

偉豪投資持股被斷頭 如興:解任董座翁紹華

如興爆財務危機 資本家構築的國王新衣

國發基金興訟 金管會揪如興增資不實關鍵

5噸電動堆高機 & 2噸立式堆高機

不想忍受柴油堆高機帶來的廢氣汙染,電動堆高機將會是很好的選擇

信泰電機生產製作:鋁殼電阻、繞線電阻、剎車電阻、煞車電阻、大功率電阻、回升電阻回昇電阻、平衡電阻、陶瓷電阻、模擬負載、大功率繞線電阻器製造、燒機設備規劃及施工、變壓器及電抗器製造、自動控制器材零組件買賣、DC電源供應器製造、電子零組件製造業。

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

快速搞懂塑膠射出成型原理

注塑成型為藉由將熔融塑料注射到模具中來生產零件的製造過程。可以使用多重材料進行射出成型,最常見為熱塑性聚合物。塑料被送入加熱料管中,利用螺桿混鍊,然後注入模,在模腔中冷卻並固化成型。

中共軍演鎖台 經部曝油氣煤安全存量天數

美國眾議院議長裴洛西(Nancy Pelosi)2日晚間抵台,共軍隨即宣布將展開海域軍演;經濟部今天表示,石油、天然氣安全存量天數均高於法定規範,政府已備妥各種作法,因應中共的軍事演習,請全國民眾放心。

美國眾議院議長裴洛西(Nancy Pelosi)2日晚間抵台,共軍隨即宣布4日至7日在台灣周邊6海域軍演,外界關注共軍實彈演習對國內能源供應影響。

對此,經濟部今天透過新聞稿表示,石油安全存量天數約146天,天然氣安全存量天數約10至11天,煤炭安全存量天數約39天,均高於法定規範,可充分供應國內需求,請全國民眾放心。

經濟部說明,石油、天然氣與煤炭均已訂有安全存量規範,同時也採多元來源供應,平時已備妥存量,可充足供應無虞;經濟部也有相關管控與查核機制,確保個別能源供應事業存量充足。

十大封口機人氣排行榜-烘焙必備幫手!

主要用於對塑料杯、塑料盒以及塑料瓶的填料,相應材料複合膜封口製品的生產。如果凍、果汁、牛奶、酸奶、飲料、快餐食品等物料的填充及封口。可適應於不同粘度的液、漿的充填物,可適應不同形狀,容量的包裝容器。

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

五金製品代工原理?

五金製品代工機械零件是從機械構造學和力學分離出來的。隨著機械工業的發展,新的設計理論和方法、新材料、新工藝的出現,五金零件進入了新的發展階段。有限元法、斷裂力學、彈性流體動壓潤滑、優化設計、可靠性設計、計算機輔助設計(CAD)、系統分析和設計方法學等理論,已逐漸用於五金零件的研究和設計。

5噸電動堆高機 & 2噸立式堆高機

不想忍受柴油堆高機帶來的廢氣汙染,電動堆高機將會是很好的選擇

經濟部指出,政府平時即積極確保能源供應安全,每天與台電公司、中油公司密切保持聯繫,持續監控國內能源儲備情形;同時,能源存量是重要國安議題,政府已備妥各種作法,以因應中共的軍事演習。


延伸閱讀

共軍海空封鎖3天!天然氣運補亮紅燈

解放軍將圍台軍演3天鎖海空 交通部急因應

臭氧機推薦

臭氧是世界公認的廣譜高效殺菌消毒劑。新一代綠色環保高科技產品活氧機,採用大自然空氣為原料以電子方式高頻高壓放電產生高濃度臭氧比氧分子多了一活潑的氧原子臭氧,化學性質特別活潑,是一種強氧化劑,在一定濃度下可迅速殺滅空氣中的細菌。

貨櫃屋可短期出租?

金誠貨櫃出租,可短期工程、以節省預算、各型貨櫃均可出租,也可加工門窗及櫃內裝潢配電,客製化施作。

示波器探測執行效能最佳化的8大秘訣

示波器是一種能夠顯示電壓訊號動態波形的電子測量儀器。它能夠將時變的電壓訊號,轉換為時間域上的曲線,原來不可見的電氣訊號,就此轉換為在二維平面上直觀可見光訊號,因此能夠分析電氣訊號的時域性質。

金誠貨櫃實業社

以客為尊,客製化的設計與服務搭配專業的工班,能夠提供全方位的貨櫃屋組合方案、貨櫃屋改裝及裝潢設計配合您的需求打造出一個完善的居住空間