認(rèn)識(shí)工業(yè)大數(shù)據(jù)什么是工業(yè)大數(shù)據(jù)？我們先看看維基百科的說法：“工業(yè)大數(shù)據(jù)（Industrialbig data）是構(gòu)成工業(yè)人工智能的重要元素，指由工業(yè)設(shè)備高速產(chǎn)生的大量數(shù)據(jù)，對(duì)應(yīng)不同時(shí)間下的設(shè)備狀態(tài)，是物聯(lián)網(wǎng)中的訊息。此一詞語在2012年隨著工業(yè)4.0的概念而出現(xiàn)，也和信息技術(shù)行銷流行的大數(shù)據(jù)有關(guān)，工業(yè)大數(shù)據(jù)也意味著工業(yè)設(shè)備產(chǎn)生的大量數(shù)據(jù)有其潛在的商業(yè)價(jià)值。工業(yè)大數(shù)據(jù)會(huì)配合工業(yè)互聯(lián)網(wǎng)的技術(shù)，利用原始資料來支援管理上的決策。”百度百科是這樣說的：“工業(yè)大數(shù)據(jù)是指在工業(yè)領(lǐng)域中，圍...

由于Spark在使用JDBC方式讀取關(guān)系型模型數(shù)據(jù)的時(shí)候，默認(rèn)采用單線程任務(wù)執(zhí)行。在數(shù)據(jù)量較大時(shí)，經(jīng)常發(fā)現(xiàn)內(nèi)存溢出、性能低的問題。在擴(kuò)大內(nèi)存讀取后進(jìn)行重分區(qū)，又會(huì)消耗時(shí)間，浪費(fèi)資源。因此，開發(fā)并發(fā)讀取關(guān)系型模型數(shù)據(jù)，可以有效提高任務(wù)處理并發(fā)度，減少單個(gè)任務(wù)的數(shù)據(jù)處理量，進(jìn)而提升處理效率。分布式并發(fā)處理優(yōu)化（一）總體思路關(guān)系型模型并發(fā)讀取首先要選取分區(qū)字段，按照字段類型和分區(qū)個(gè)數(shù)確定并發(fā)分區(qū)間隔的key值。假設(shè)key值可以將模型數(shù)據(jù)均勻劃分成多個(gè)邏輯分區(qū)，根據(jù)key...

伴隨裝備制造業(yè)的不斷革新，產(chǎn)生了自主維修、狀態(tài)檢修等新型設(shè)備健康管理模式，極大地推進(jìn)了設(shè)備健康管理的創(chuàng)新與發(fā)展。而這些新模式的基礎(chǔ)和核心就是故障預(yù)測與健康管理（Prognostics and Health Management, PHM）技術(shù)。一、什么是PHM？PHM技術(shù)是指釆用傳感器信息、專家知識(shí)及維修保障信息，借助各種智能算法與推理模型進(jìn)行設(shè)備運(yùn)行狀態(tài)的監(jiān)測、預(yù)測、判別以及管理，實(shí)現(xiàn)低虛警率的故障檢測與隔離，解決傳統(tǒng)維修過程中存在的“維修不足”及“維修過剩”等問題，有效提高設(shè)備的可用性、減...

引言隨著信息技術(shù)的迅猛發(fā)展及企業(yè)數(shù)字化轉(zhuǎn)型，快速積累了大量的數(shù)據(jù)，其中關(guān)系類數(shù)據(jù)如社交數(shù)據(jù)、電商數(shù)據(jù)等呈指數(shù)級(jí)增長。圖結(jié)構(gòu)數(shù)據(jù)在各個(gè)場景中也得到越來越多的應(yīng)用，包括社交網(wǎng)絡(luò)、推薦搜索、知識(shí)圖譜、醫(yī)藥研發(fā)、量子物理等。在探索這些“關(guān)系數(shù)據(jù)”過程中，其相對(duì)基于傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)的方法顯現(xiàn)出了巨大優(yōu)勢，圖數(shù)據(jù)存儲(chǔ)及圖算法等也得到了迅猛的發(fā)展。圖結(jié)構(gòu)數(shù)據(jù)的火熱應(yīng)用快速擴(kuò)展到各個(gè)領(lǐng)域，其中金融領(lǐng)域?yàn)檫M(jìn)一步增強(qiáng)智能風(fēng)控管理能力，更好地支撐信貸等業(yè)務(wù)的發(fā)展，也陸續(xù)開...

大數(shù)據(jù)人工智能快速發(fā)展，加大了數(shù)據(jù)中心處理數(shù)據(jù)，資源的能力，加劇了人們對(duì)于提升資源效率的需求。為了合理分配大規(guī)模集群的資源，滿足日益增多的服務(wù)和任務(wù)的資源需求，出現(xiàn)了一系列的集群資源調(diào)度系統(tǒng)。當(dāng)下，主流大數(shù)據(jù)資源調(diào)度平臺(tái)有Yarn、Mesos、K8s。這些平臺(tái)背后技術(shù)路線不同，接口不同，安全認(rèn)證過程不同，因此要統(tǒng)一管理運(yùn)行在這些平臺(tái)是一個(gè)不小的挑戰(zhàn)。如果有統(tǒng)一的服務(wù)將不同資源調(diào)度平臺(tái)透明化，業(yè)務(wù)系統(tǒng)只關(guān)心業(yè)務(wù)程序本身，剩下的交給單個(gè)標(biāo)準(zhǔn)接口處理，將大大降低這...

現(xiàn)代云應(yīng)用內(nèi)往往承載著差異化的數(shù)據(jù)業(yè)務(wù)和復(fù)雜的應(yīng)用服務(wù),一個(gè)穩(wěn)定而可靠的云原生產(chǎn)品體系在云應(yīng)用日常運(yùn)維中顯得尤為重要。從助推企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型、推動(dòng)企業(yè)業(yè)務(wù)創(chuàng)新發(fā)展的角度出發(fā)，提出一套“云原生”體系架構(gòu)，并對(duì)該架構(gòu)體系所研究的內(nèi)容及各分層結(jié)構(gòu)的設(shè)計(jì)進(jìn)行了詳細(xì)的介紹。引言伴隨著虛擬技術(shù)的成熟及分布式應(yīng)用的相關(guān)技術(shù)普及，大多數(shù)企業(yè)逐漸接受了基于云平臺(tái)來發(fā)展企業(yè)自身業(yè)務(wù)的方式，傳統(tǒng)硬件服務(wù)器部署方式的弊端慢慢呈現(xiàn)出不能滿足業(yè)務(wù)拓展的需求，在此背景下“云原生...

某集團(tuán)公司通過近幾年的信息化建設(shè)，已經(jīng)基本完成了信息化的全業(yè)務(wù)覆蓋，初步實(shí)現(xiàn)了數(shù)據(jù)的集中存儲(chǔ)，數(shù)據(jù)存儲(chǔ)總量40T，數(shù)據(jù)條數(shù)增長量1494萬/月，數(shù)據(jù)存儲(chǔ)增長1T/月，其中有30%的數(shù)據(jù)是以文件的形式存儲(chǔ)。文件作為業(yè)務(wù)活動(dòng)的過程記錄和結(jié)果沉淀，對(duì)于業(yè)務(wù)流程貫通、業(yè)務(wù)知識(shí)沉淀，具有非常重要的意義。該集團(tuán)公司的數(shù)據(jù)雖然已經(jīng)實(shí)現(xiàn)集中存儲(chǔ)，但是數(shù)據(jù)仍然按業(yè)務(wù)條線、按系統(tǒng)方式存儲(chǔ)、管理、利用，且文件數(shù)據(jù)具有非結(jié)構(gòu)化的特點(diǎn)，因此對(duì)于文件數(shù)據(jù)的利用效率很低。具體體現(xiàn)在：01、集...

你有沒有聽到這樣的事情：經(jīng)常上熱搜的“大數(shù)據(jù)殺熟”、手機(jī)好像在監(jiān)聽消費(fèi)者的喜好、外賣小哥被困在算法里停不下來……仿佛有一雙眼睛在無時(shí)無刻的盯著我們的一舉一動(dòng)，其實(shí)這些都是隱私泄露。不管是對(duì)個(gè)人也好，對(duì)企業(yè)也好，泄露隱私都會(huì)讓我們感到毛骨悚然。近年來，數(shù)據(jù)安全事件頻繁發(fā)生，數(shù)據(jù)安全威脅日益嚴(yán)峻。而這一切的根本原因在于，數(shù)據(jù)所帶來的巨大潛在利益,促使不法之徒肆無忌憚的收集和使用我們的隱私數(shù)據(jù)。2021年9月起，正式施行的《中華人民共和國數(shù)據(jù)安全法》就是為了規(guī)范...

· 從業(yè)務(wù)層面看，數(shù)據(jù)資源標(biāo)準(zhǔn)化管理對(duì)于推行業(yè)財(cái)一體化應(yīng)用，打通業(yè)務(wù)流程斷點(diǎn)，無縫支撐業(yè)務(wù)運(yùn)營具有重要意義。· 從管理層面看，數(shù)據(jù)資源標(biāo)準(zhǔn)化管理有利于規(guī)范管理基礎(chǔ)，管理和追溯債權(quán)、債務(wù)人，有利于內(nèi)控管理和監(jiān)督履約。· 從信息層面看，數(shù)據(jù)資源標(biāo)準(zhǔn)化管理有利于統(tǒng)一數(shù)據(jù)模型和管控標(biāo)準(zhǔn)；有利于建立企業(yè)級(jí)數(shù)據(jù)中心和高度集成映射關(guān)系。一、業(yè)務(wù)現(xiàn)狀及問題剖析某研究所專業(yè)從事機(jī)電成套設(shè)備研制。日常工作過程中涉及與眾多供應(yīng)商、客戶的貿(mào)易往來，在供應(yīng)商、客...

拆&不拆？都是難題總裝架上，產(chǎn)品裝配的最后環(huán)節(jié)，在組裝核心部件時(shí)，發(fā)現(xiàn)聯(lián)管和支架數(shù)量缺漏，導(dǎo)致部件無法安裝，整體裝配停工。經(jīng)逐級(jí)溝通協(xié)調(diào)，聯(lián)管和支架齊套需要3天時(shí)間，此時(shí)產(chǎn)品已經(jīng)接近裝配完成，如從總裝架上拆卸，需要近一周時(shí)間；如不拆卸，則此總裝架無法裝配其他產(chǎn)品，而后續(xù)產(chǎn)品的配套組部件已經(jīng)悉數(shù)送到裝配車間。此次事故對(duì)生產(chǎn)造成的影響如下：當(dāng)前產(chǎn)品的裝配進(jìn)度停滯，交期延后；當(dāng)前總裝架被占用，無法裝配任何產(chǎn)品；后續(xù)產(chǎn)品的裝配無總裝架可使用，交期延后；...

隨著制造工藝復(fù)雜度不斷提升，標(biāo)準(zhǔn)件作為制造\維修工程中使用數(shù)量最大、品種最多的基礎(chǔ)性零件，極易造成庫存積壓，也容易因缺料及供應(yīng)延遲對(duì)制造成本、質(zhì)量控制和交付進(jìn)度產(chǎn)生巨大影響。標(biāo)準(zhǔn)件的精細(xì)化管理和供應(yīng)水平直接決定產(chǎn)品的整體生產(chǎn)進(jìn)度和質(zhì)量。標(biāo)準(zhǔn)件是機(jī)械制造企業(yè)常見物料之一。標(biāo)準(zhǔn)件是有明確標(biāo)準(zhǔn)的機(jī)械零（部）件和元件，使用的標(biāo)準(zhǔn)主要有中國國家標(biāo)準(zhǔn)（GB、GB/T）、美國機(jī)械工程師協(xié)會(huì)標(biāo)準(zhǔn)（ANSI、ASME），日本（JIS）、德國（DIN）等國家標(biāo)準(zhǔn)以及一些行業(yè)標(biāo)準(zhǔn)。廣義來...

高質(zhì)量的物料主數(shù)據(jù)能夠提升企業(yè)資源配置和協(xié)同能力，進(jìn)而支撐企業(yè)發(fā)展。以量具主數(shù)據(jù)為例，高價(jià)值和高共享的量具主數(shù)據(jù)能夠提升量具使用率和工業(yè)生產(chǎn)效率，為生產(chǎn)現(xiàn)場來合規(guī)的高質(zhì)量產(chǎn)品。1、業(yè)務(wù)現(xiàn)狀：物未盡其用，大量“被閑置”的量具某企業(yè)為高端裝備制造單位，擁有生產(chǎn)、工藝、質(zhì)量三大業(yè)務(wù)主線。隨著企業(yè)信息化建設(shè)不斷發(fā)展，提高資源的利用率和可用性，成為企業(yè)精細(xì)化管理的重要一環(huán)。作為最基本、最底層的制造資源（工具、工裝、計(jì)量器具等）與生產(chǎn)計(jì)劃、采購計(jì)劃、工藝設(shè)計(jì)、...

所謂物料，是指包括與產(chǎn)品生產(chǎn)相關(guān)的所有物品，包含：原材料、外協(xié)件、外購件、自制件、虛擬件等。工業(yè)企業(yè)中物料主數(shù)據(jù)的數(shù)量最大，也最關(guān)鍵，貫穿于制造型企業(yè)的設(shè)計(jì)、工藝、采購、生產(chǎn)、庫存、物流、銷售的各個(gè)環(huán)節(jié)。聚焦業(yè)務(wù)痛點(diǎn)，從解決核心業(yè)務(wù)實(shí)體數(shù)據(jù)的質(zhì)量和業(yè)務(wù)協(xié)同入手。引入原材料主數(shù)據(jù)管理解決方案，對(duì)于破解工藝設(shè)計(jì)與采購倉儲(chǔ)間的矛盾和提升產(chǎn)品交付能力具有非常重要的意義。1、業(yè)務(wù)現(xiàn)狀，影響產(chǎn)品交付某企業(yè)為軍工行業(yè)生產(chǎn)制造單位，圖紙?jiān)O(shè)計(jì)源自上游設(shè)計(jì)單位。不同...

看完這篇，你將會(huì)了解：1. 智能制造的含義及演化過程2. 數(shù)字化制造的實(shí)質(zhì)是什么？3.企業(yè)數(shù)字化建設(shè)過程中核心采集的數(shù)據(jù)有哪些？又是如何利用數(shù)據(jù)賦能業(yè)務(wù)的？背景世界正在進(jìn)入以信息產(chǎn)業(yè)為主導(dǎo)的經(jīng)濟(jì)發(fā)展時(shí)期，在新一輪的科技革命和產(chǎn)業(yè)發(fā)展變革中，智能制造已成為世界強(qiáng)國搶占發(fā)展機(jī)遇的制高點(diǎn)和主攻方向。近幾年我國也在不斷發(fā)展和完善智能制造相關(guān)產(chǎn)業(yè)政策，布局規(guī)劃制造強(qiáng)國的推進(jìn)路徑。以新一代信息技術(shù)的產(chǎn)業(yè)化和集成應(yīng)用為重點(diǎn)，推進(jìn)新一代信息技術(shù)和制造業(yè)深度融合，已成為推...

工業(yè)4.0的核心就是集成更加廣泛的集成，當(dāng)然集成不是目的，目的是讓產(chǎn)品數(shù)據(jù)、運(yùn)營數(shù)據(jù)、外部數(shù)據(jù)、價(jià)值鏈數(shù)據(jù)在人、物、組織之間更加即時(shí)、準(zhǔn)確、透明的共享，并且通過數(shù)據(jù)交換共享和加工利用產(chǎn)生價(jià)值。從IT角度看，集成又包括異構(gòu)的CAX工具間集成，異構(gòu)的業(yè)務(wù)系統(tǒng)間集成，異構(gòu)的智能設(shè)備間集成，企業(yè)內(nèi)部系統(tǒng)與互聯(lián)網(wǎng)之間的集成，上述內(nèi)容我們?cè)诤罄m(xù)的技術(shù)篇里詳細(xì)講解。從業(yè)務(wù)角度看，集成可以分為以需求、設(shè)計(jì)、制造、物流、維修等為主線的產(chǎn)品全壽期集成，以企業(yè)內(nèi)、外部供應(yīng)鏈等...

《制造業(yè)數(shù)據(jù)管理的再認(rèn)知》一文中我們將工業(yè)大數(shù)據(jù)分為公共資源數(shù)據(jù)、工程類數(shù)據(jù)、管理類數(shù)據(jù)和物聯(lián)數(shù)據(jù)。這篇文章主要談?wù)勎锫?lián)數(shù)據(jù)，也是數(shù)據(jù)管理部分的最后一篇了。傳統(tǒng)的管理系統(tǒng)將人作為數(shù)據(jù)采集端，用流程來固化組織的行為，用指標(biāo)來衡量評(píng)價(jià)流程和組織的效率。工業(yè)企業(yè)的物聯(lián)網(wǎng)，就是要將人和物聯(lián)系起來，將系統(tǒng)和物聯(lián)系起來，將物作為數(shù)據(jù)采集端，由人或系統(tǒng)進(jìn)行數(shù)據(jù)分析和決策。數(shù)據(jù)的分析與優(yōu)化是物聯(lián)網(wǎng)的關(guān)鍵技術(shù)之一，也是未來物聯(lián)網(wǎng)發(fā)揮價(jià)值的關(guān)鍵點(diǎn)。物聯(lián)網(wǎng)在工業(yè)中有很...

上文中我們將工業(yè)大數(shù)據(jù)分為公共資源數(shù)據(jù)、工程類數(shù)據(jù)、管理類數(shù)據(jù)和物聯(lián)數(shù)據(jù)。其中管理類數(shù)據(jù)一般也稱業(yè)務(wù)數(shù)據(jù)，即由業(yè)務(wù)活動(dòng)產(chǎn)生的記錄。傳統(tǒng)的數(shù)據(jù)倉庫理論將業(yè)務(wù)數(shù)據(jù)的管理理論和應(yīng)用模式發(fā)展到一個(gè)很成熟的水平，目前無論制造企業(yè)還是IT公司在談工業(yè)大數(shù)據(jù)時(shí)，更多是按照數(shù)據(jù)倉庫理念在進(jìn)行企業(yè)數(shù)據(jù)的管理和應(yīng)用。美林公司認(rèn)為傳統(tǒng)的數(shù)據(jù)倉庫理論是建立在結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)的基礎(chǔ)上，是工業(yè)大數(shù)據(jù)的重要組成部分之一。其難點(diǎn)在于從千變?nèi)f化的業(yè)務(wù)中找到穩(wěn)定的數(shù)據(jù)結(jié)構(gòu)，又能方便的支...

產(chǎn)品工程數(shù)據(jù)是工業(yè)大數(shù)據(jù)的重要組成部分， 企業(yè)運(yùn)營業(yè)務(wù)因多采用成熟的套裝軟件進(jìn)行管理故數(shù)據(jù)多以結(jié)構(gòu)化數(shù)據(jù)為主，產(chǎn)品工程數(shù)據(jù)多以非結(jié)構(gòu)化圖文檔數(shù)據(jù)為主，集中體現(xiàn)大數(shù)據(jù)的“大”。產(chǎn)品工程數(shù)據(jù)的“大”，在微觀層面體現(xiàn)在產(chǎn)品的全屬性，在宏觀層面體現(xiàn)在產(chǎn)品的全生命。第一節(jié) 產(chǎn)品全壽期數(shù)據(jù)是什么工業(yè)4.0將產(chǎn)品(Product)看成一個(gè)系統(tǒng)(System)，從而將PLM升級(jí)為SysLM，并力主以SysLM為主導(dǎo)控制工業(yè)生產(chǎn)的復(fù)雜性。SysLM與PLM最大的不同，即將產(chǎn)品研制過程中流程、工具、組織等要素也...

《制造業(yè)數(shù)據(jù)管理的再認(rèn)識(shí)》一文中提到我們將數(shù)據(jù)分為主數(shù)據(jù)、產(chǎn)品工程數(shù)據(jù)、企業(yè)管理數(shù)據(jù)和物聯(lián)實(shí)時(shí)數(shù)據(jù)等四大類。其中主數(shù)據(jù)是跨業(yè)務(wù)部門共享且相對(duì)靜止不變的數(shù)據(jù)，制造企業(yè)常見的主數(shù)據(jù)有供應(yīng)商、客戶、組織、人員、財(cái)務(wù)科目、產(chǎn)品、項(xiàng)目等。這些數(shù)據(jù)分布在不同的業(yè)務(wù)部門和業(yè)務(wù)系統(tǒng)，企業(yè)經(jīng)營過程中主要的業(yè)務(wù)活動(dòng)和業(yè)務(wù)流程又都是圍繞這些核心業(yè)務(wù)對(duì)象開展的。所以主數(shù)據(jù)是企業(yè)數(shù)據(jù)資源的綱，只有管好企業(yè)最核心的數(shù)據(jù)資源，才能實(shí)現(xiàn)大數(shù)據(jù)的綱舉目張。第一節(jié)   ...

工業(yè)大數(shù)據(jù)這個(gè)詞其實(shí)并不是標(biāo)準(zhǔn)詞匯，更類似于工業(yè)+大數(shù)據(jù)的組合概念。在工信部下發(fā)的《智能制造綜合標(biāo)準(zhǔn)化體系建設(shè)指南》提到“工業(yè)大數(shù)據(jù)是工業(yè)領(lǐng)域完成相關(guān)信息化（包括企業(yè)內(nèi)部的數(shù)據(jù)采集和集成，產(chǎn)業(yè)鏈橫向的數(shù)據(jù)采集和集成，以及客戶/用戶和互聯(lián)網(wǎng)上的大量外部數(shù)據(jù)）所產(chǎn)生的海量數(shù)據(jù)的基礎(chǔ)上，經(jīng)過深入分析和挖掘，為制造企業(yè)提供看待價(jià)值網(wǎng)絡(luò)的全新視角，從而為制造業(yè)創(chuàng)造更大價(jià)值。”這幾年大數(shù)據(jù)的火爆是互聯(lián)網(wǎng)行業(yè)引燃的，但制造行業(yè)與互聯(lián)網(wǎng)行業(yè)的業(yè)務(wù)模式?jīng)Q定了數(shù)據(jù)特點(diǎn)及...