Rad sa podacima iz telekomunikacione mreže uz korišćenje FME Platforme
O projektu
Saznajte kako je Globemino rešenje zasnovano na FME-u (platformi za obradu i integraciju podataka) doprinelo poslovanju telekomunikacione kompanije Nexera. Naše rešenje je pomoglo Nexeri da automatizuje proces validacije podataka, ispravi greške i ubrza migraciju podataka o mreži kompanije u sistem za inventarisanje.
Sadržaj:
Nexera je prvi telekomunikacioni operater velikih razmera u Poljskoj, osnovana 2017.godine. Kompanija gradi pristupnu mrežu buduće generacije (NGA), visokog propusnog opsega, zasnovanu na optičkim tehnologijama. Ovaj operater učestvuje u projektu Operational Programme Digital Poland, gradeći optičku mrežu oko centralnih i severoistočnih delova zemlje. Cilj je da se obezbedi pristup internetu za preko milion domaćinstava i preko 3 hiljade škola i drugih obrazovnih ustanova.
Izazovi
Kao moderan telekomunikacioni operater, Nexera je implementirala Network Inventory System za upravljanje svojim poslovnim procesima u digitalnom obliku. Ključni element implementacije ovog sistema bilo je premeštanje podataka o mreži na osnovu projektne dokumentacije u CAD format. Kompanija je izvršila migraciju podataka u Cross Inventory System.
U početnoj fazi se ispostavilo da podaci u projektnoj dokumentaciji sadrže mnogo grešaka kao što su nejasne veze između tačaka na mreži ili nedostatak opisnih informacija. Ovo je u velikoj meri zakomplikovalo proces migracije. Svaki put kada bi sistem naišao na problem, ceo proces bi se obustavljao. Ovo je zahtevalo identifikaciju i pronalaženje greške, njeno popravljanje i nastavak migracije podataka. Potreba za ponavljanjem određenih koraka učinila je migraciju previše napornom i dugotrajnom.
Zbog toga je Nexeri bilo potrebno rešenje koje bi im omogućilo da završe efikasnu validaciju i ispravku podataka. Ovo bi im pomoglo da brzo i neprimetno migriraju projektnu dokumentaciju u sistem za inventarisanje.
Obim projekta
15,500
Područje popisane mreže
13,000
Ukupna dužina optičke mreže
92,000
Broj optičkih veza
168,000
Broj drugih mrežnih objekata (npr. bunara, stubova)
6,200
Dužina infrastrukture tehničkih kablovskih linija
Rešenje
Kompanija Nexera kontaktirala je Globemu, jedinog distributera FME softvera u Centralnoj i Istočnoj Evropi. FME se koristi za obradu podataka, integraciju i migraciju i nudi stalnu i pouzdanu podršku za geoprostorne podatke.
Zadatak Globeme je bio da pomogne operateru da obradi podatke o približno 13.000 kilometara optičke mreže i preko 6.000 kilometara tehničke infrastrukture kablovskih linija. Ti podaci su zatim trebali biti učitani u Nexerin sistem za inventarisanje.
Globema je, zajedno sa kreatorima dokumentacije, koristila FME skriptu za kreiranje ulaznih datoteka koje se učitavaju u sistem za inventarisanje u pravom trenutku. Istovremeno smo kreirali mehanizam koji automatski identifikuje i ispravlja greške u dokumentaciji.
FME je omogućio timu da otkrije i ispravi greške pre nego što podaci budu učitani u sistem. Ovo je ograničilo broj ponavljanja potrebnih za učitavanje migriranih podataka i ubrzalo ceo proces.
Analiza izvornih datoteka – priprema za validaciju
Pre nego što smo započeli stvarni proces validacije, morali smo da detaljno analiziramo izvorne podatke:
- DWG datoteke koje sadrže informacije o tehničkoj strukturi mreže (npr. bunari, stubovi, kablovi, spojevi) i lokaciji adresne tačke.
- XLSX datoteke predstavljaju potpune i detaljne podatke o mreži i opisima adresnih tačaka.
Spojili smo podatke u jedan skup ulaznih datoteka (datoteke obrađene tako da se mogu učitati u Nexera-in sistem mrežnog inventara). U sledećem koraku smo uklonili neslaganja koja su se pojavila nakon integracije podataka. Konvertovali smo sređene podatke u jedan, definisani CSV format kako bi se isti mogli učitati u Network Inventory System.
FME skripta za analizu ulaznih datoteka
Validacija i migracija podataka uz pomoć FME rešenja
Faza validacije uključuje proveru prostornih odnosa između linearnih i tačkastih objekata unutar mreže, kao što su kablovi, bunari, stubovi, spojevi, itd. Ispravnost opisa se takođe analizira, jer je potrebno da se proveri da li su konzistentni sa leksičkim podacima. Validacija obuhvata i konzistentnost mreže – to podrazumeva: npr. pronalaženje putanja između bilo koja dva čvora unutar mreže.
Tokom provere, greške se ispravljaju odvojeno za geometriju i za opise:
- Geometrijske greške: nejasne veze između mrežnih tačaka, pogrešne lokacije objekata ili topološke greške.
- Greške u opisima: nedostatak informacija u opisima ili njihovim vrednostima ili potreba za prilagođavanjem leksičkim vrednostima, ne samo jedan na jedan, već i kroz analizu sličnosti teksta.
Sistem koji je dizajnirala Globema koristi FME i automatski identifikuje i ispravlja greške. Takođe generiše izveštaje o greškama koje je potrebno popraviti pre premeštanja podataka u sistem za inventarisanje. Ovo značajno smanjuje broj ponavljanja migracije podataka.
Fragment FME skripte za validaciju podataka
Faze procesa validacije podataka:
- Automatski odabir datoteka za validaciju i popravku / Preuzimanje podataka iz ulaznog skladišta
- Identifikacija grešaka u originalnoj dokumentaciji
- Obrada učitanih podataka i automatsko ispravljanje grešaka
- Čuvanje fajlova sa izveštajima i generisanje statistike celog procesa
Dijagram validacije i migracije podataka
Korišćenje FME rešenja u ovom procesu nam je omogućilo da automatizujemo određene procese:
- Preuzimanje podataka iz ulaznog skladišta (1)
- Potvrđivanje podataka (2)
- Ispravljanje grešaka, priprema izveštaja o ispravljenim podacima i preostalim grešakama koje zahtevaju dalje, ručne prepravke (3)
- Slanje podataka i izveštaja u skladište izveštaja (4)
- Preuzimanje informacija o greškama koje je FME ispravio sa FTP servera (7)
- Potvrđivanje i popravljanje nekih podataka korišćenjem FME rešenja
Određene korake je još uvek potrebno dovršiti “ručno”:
- Klasifikacija grešaka za ispravljanje (Globema) (5)
- Ispravljanje grešaka (mrežni podizvođač) (6)
- Slanje izveštaja o ispravljenim greškama FTP serveru (mrežni podizvođač) (7)
Proces provere podataka, preuzimanja izveštaja o grešci i ispravljanje grešaka se obavlja nezavisno za svaki fragment mreže i ponavlja se sve dok se svaka greška u datom skupu ne ispravi. Kada više nema grešaka u dokumentaciji, datoteke su spremne za migraciju u sistem za inventarisanje (korak broj 8 na dijagramu).
Izveštaji o validaciji podataka
Tokom procesa validacije podataka, izveštaji se generišu za svaki tip objekta u DWG formatu. Ti izveštaji definišu tip greške, kao i originalnu i fiksnu vrednost. IDs objekata omogućavaju korisnicima da pronađu objekte u izvornim podacima, a to su ustvari podaci pre validacije i ispravke greške. Korisnik koji dobije izveštaj o grešci zna koje podatke treba ispraviti i da li zahtevaju proveru informacija na terenu ili ručno unošenje izmena u datoteku.
Proces se ponavlja dok se ne dobije ispravna dokumentacija bez ikakvih grešaka. Zatim se može uneti u sistem za inventarisanje.
Izveštaj o validaciji podataka u FME-u
Projektovanje procesa provere kvaliteta projektne dokumentacije
Proces automatske provere podataka i popravke grešaka, pored FME platforme, koristio je i Jira program za upravljanje projektima, kao i kataloge podataka na FTP serveru.
1
FTP
Ulazni podaci stavljaju se u odgovarajuće kataloge i mogu se dalje koristiti u projektu. Verifikovani i ispravljeni podaci kao i izveštaji o greškama se takođe šalju direktno sa FME servera. Fascikle se kreiraju automatski na osnovu imena ulaznih datoteka.
2
FME Server
Program koji automatski skenira podatke, traži greške i popravlja većinu njih. Neke od grešaka se ne mogu automatski popraviti jer mogu zahtevati ručne izmene datoteke ili slanje tehničara da proveri mrežu na terenu.
3
Jira
Sistem koji koristi naš klijent za upravljanje zadacima koji automatski detektuje promene na FTP serveru (kao što su novi ulazni fajlovi mrežne dokumentacije, izveštaji o greškama, itd.) i kreira zadatke koje treba izvršiti.
Nakon odgovarajuće konfiguracije, alat se može dalje deliti sa sledećim korisnicima, uključujući i mrežne izvršioce. Ovo značajno ubrzava tok posla, jer Nexera tim ne mora da se loguje i učitava izvorne datoteke u sistem za validaciju.
Gde koristimo AI/ML?
Globema završava projekte za telekomunikacije i mrežne operatere, uključujući prikupljanje i održavanje mrežnih podataka. Ovi projekti su zasnovani na skupu alata i usluga pod nazivom GlobIQ.
Pored migracije podataka iz digitalnih izvora, mi takođe preuzimamo informacije iz papirne dokumentacije koristeći AI/ML metode. Takođe, podržavamo prikupljanje podataka na terenu pomoću specijalizovanih mobilnih aplikacija.
Upoznajte GlobIQ platformu
Prednosti
Uz pomoć Globeminog rešenja, Nexera je značajno ubrzala i pojednostavila proces migracije podataka telekom mreže u sistem za inventarisanje. Upotreba FME rešenja je omogućila automatsku inspekciju podataka i popravku grešaka čak i pre početka migracije, čime se smanjuje broj faza procesa učitavanja podataka i povećava kvalitet ulaznih podataka.
Rezultat:
Zahvaljujući korišćenju mehanizma koji je Globema izgradila koristeći FME, Nexera je uspela da premesti mrežne podatke u sistem inventara na brži način. Ovo nam je omogućilo da brzo pokrenemo visokokvalitetne internet usluge i obezbedimo ih novim korisnicima i, prema tome, ispunimo zahteve Operational Programme Digital Poland.
Jacek Wiśniewski, Chief Executive Officer, Nexera
Otkrijte i druge priče o poslovnom uspehu
Grupa MTP
Ušteda vremena i smanjenje troškova integracijom sistema i izvora podataka
Saznajte kako je Grupa MTP postigla efikasan protok informacija između različitih odeljenja i korisnika koristeći platformu za podatke.
Visoro Group
Na koji način automatizujete manuelne zadatke i otpremate podatke sa samo jednom skriptom?
Saznajte kako je Visoro Group koristila FME platformu da automatizuje i ubrza obradu i integraciju podataka za 750 puta.
