Reflecting on Ness’s 20 years

The close of 2019 marks the anniversary of Ness’s 20th year in business, and I’ve been involved in the last 10 of them. As we start a new decade, it’s time to reflect on what made us who we are and why clients trust us to help drive growth in their businesses.

The company formed in 1999 in Israel to crack the nascent market for digital products. During those first 10 years, we honed our product engineering expertise, co-creating software with many independent software vendors (ISVs) that were – and still are – at the forefront of selling innovative software solutions in their markets. We became adept at helping clients define and execute revenue-enhancing software product roadmaps, co-develop intellectual property, and devise engineering automation practices to accelerate time to market. We practiced distributed Agile development with a DevOps philosophy – long before that mindset even had a name. We established teams of talented engineers in innovation hubs across the United States, Slovakia, Czech Republic, Romania, Israel, and India, so we could offer clients the best combination of design, technology, and process expertise to advance the solutions for their end customers. These product engineering disciplines remain core to our skillset and ingrained in our DNA. Now headquartered in the U.S., Ness has continued to expand its global footprint with clients growing along with us year after year.

In our second decade, we saw that our software engineering skills were crucial for enabling new business models within the much wider universe of enterprises. Marc Andreessen wrote in a now well-known article for The Wall Street Journal in 2011 that “companies in every industry need to assume that a software revolution is coming.”  By then, Ness was already helping enterprises that agreed, and was one of the first in our industry to acquire a digital design agency (Imano) in 2012. We understood that exceptional experience design was imperative for developing exceptional software, particularly as enterprises wanted better options for engaging their customers and empowering their employees. At the same time, we debuted our Data & Analytics practice, helping Ness clients benefit from the insights we uncovered in their data and our recommendations on how to monetize them. We adopted the Ness Connected delivery framework across the business to harmonize design, data, and platform engineering into a cohesive, iterative process as we help enterprises envision, build, and evolve digital solutions that productively disrupt their markets. Ness-built software is frequently the enabler of that disruption.

Twenty years in, we are expert practitioners in Service Design, Cloud, and Big Data strategy and application. We’re also advancing new business models with innovative uses of the Internet of Things, Artificial Intelligence, ServiceNow and Salesforce eco-systems to exploit emerging synergies with Ness’s customer-centric approach to digital solutions. Real-life examples include where Ness is helping global manufacturers add revenue streams by commercializing the value of their machine data with services that complement the products they sell. We’re enabling media and entertainment companies to transform the viewer experience with new personalization and digital media distribution models. We’re helping transport and logistics companies move people and goods faster using real-time 2D and 3D navigation, asset tracking, and insights from telematics data. And, we’re enabling healthcare organizations to improve diagnostics with Artificial Intelligence solutions that improve patient outcomes.

We are co-innovating digital propositions that are redefining a client’s whole company, and we are able to challenge their thinking because we have the experience of addressing common business themes across many domains. We also partner with innovative companies that already have their big idea and need help getting it to market fast, while scaling to satisfy demand.

Undoubtedly, the next 10 years will be much different than the last. We are now designing and building for constant change in the way we architect technology solutions. We will continue to invest to advance our expertise, but our ability to marshal and nurture the exceptional talent and creativity of our team members – towards co-innovating disruptive business models that generate valuable client outcomes – has remained a constant strength throughout the 20 years.  These ongoing efforts inspire me to come to work every day.

We expect 2020 to be a year to remember with a number of exciting developments for our customers and for Ness. Our team will start to share some of these new ideas, perspectives, and predictions in January, kicking off our new decade with the latest evidence of how our forward-thinking imagination continues to drive significant change and progress.

 

Translating Big Data Trends into Useful Solutions

Data is everywhere, and there’s a lot of it. How can we best leverage it?

Mircea Velicescu, VP of Delivery and global practice head of Big Data & Analytics at Ness Digital Engineering shares his perspective on the next evolutions in Big Data & Analytics and the factors to consider when companies are choosing the best Big Data solutions to meet their needs.

An article about how to choose the right Big Data solution, written by Mircea Velicescu, VP of Delivery and global practice head of Big Data & Analytics at Ness Digital Engineering.

Read more here

The Golden Age of Natural Language Processing

From Word2Vec to ELMo to BERT, the past few years have brought major breakthroughs in NLP technology, ushering in a new Golden Age. In an article for Analytics Insight, Moshe Kranc, CTO at Ness Digital Engineering discusses the current Golden Age of NLP and how businesses can embrace the technology to improve profitability, both by increasing customer satisfaction and saving back-office costs.

Click here to read the full article.

Explore AI and Big Data and How They Work Together

Machine Learning technology is helping companies across industries derive better business insights from their data. However, for reliable results, you need quality data. Poor quality means low (or no) value. This is something that big data has in common with AI. Explore AI and big data and learn how they work together.

In an article for The Enterprisers Project, Ness CTO, Moshe Kranc, is quoted on the importance of cleansing big data and suggests that the best way to do this could be by using Machine Learning. “Fortunately, machine learning data can be cleansed using… machine learning!” Kranc says. “ML algorithms can detect outlier values and missing values, find duplicate records that describe the same entity with slightly different terminology, and normalize data to a common terminology, etc.”

Read More

IoT –Transforming Small and Growing Manufacturing Firms

Industry 4.0 and Smart Factory capabilities are becoming pervasive, especially in large manufacturing companies. But, how can smaller but growing manufacturers also start realizing the benefits of IoT? In an article for Manufacturing Tomorrow, Dave Tanacea, Chief Domains Officer, and Martin Focazio, Vice President of Advisory Services, at Ness Digital Engineering share insights on the business benefits of Industrial IoT for growing manufacturing firms.

The article highlights the Industrial IoT business benefits, which are grouped into two main categories: Operational and Strategic. Operational benefits build efficiencies into the manufacturing process and strategic benefits build out new business models and revenue streams. Attaining these benefits requires the concurrent planning, execution and ongoing management of five key components. Read the article to learn more about the key components and capabilities that help small and mid-size manufacturing companies move towards developing an IoT strategy.

Read More

Automated Knowledge in 2020: What to Expect from AI & Machine Learning

The year 2019 will be remembered in the software world as the year when containerization, cloud native architectures, and Machine Learning broke out into the mainstream. As we approach the end of the decade, it’s time to look forward to the year 2020 and make some predictions about where these disruptive technologies will take us in the next 12 months. In an article for Dataconomy, Moshe highlights what to expect from Artificial Intelligence & Machine Learning in terms of growth, innovation, and adoption.

Click here to view the full article.

Bringing a Sense of Control to Work Life 

Have you ever thought about what it takes to have highly satisfied and productive employees? Is it the fun perks like ice cream in the breakroom, an onsite gym, in house child care or bringing your dog into the office every day? While these are great recruiting tools, these do not always equate to a high employee tenure. Harvard Business Review reported the key to employee tenure is control – employees prefer to have a sense control over their ability to provide high quality work and a sense of control over their personal life. That begs the question, how can you leverage the Now Platform to bring this experience and sense of control into their daily work life?

Introducing One Portal to Rule Them All

Goodbye are the days of multiple portals, not knowing where to find services, and the frustration that goes with it. Having one master service portal is now a reality and will soon become the standard for all. Don’t let your employees work in chaos, make it easy for them to do what they need to do in order to be successful. Create a dual experience that will allow them to have control in their work life and personal life all while utilizing the Now Platform. Learn how you can leverage a master service portal to:

  • Deploy a consumer-grade user experience
  • Find a required service easy with a scalable service taxonomy
  • Enable growth as new services are defined and implemented

Learn More Now

Watch our vlog to understand why it is important to get this started and have this capability working for you.

https://www.youtube.com/watch?v=1cnzvVWv7TM&feature=youtu.be&__hssc=181571256.1.1574285031309&__hstc=181571256.fe30d4802b306ffe14c64454015b4bf8.1562949313715.1572378570910.1574285031309.16&__hsfp=1536284294&hsCtaTracking=b1b5d84c-bfa7-418b-bda3-0d46e40eb941%7Cbce8cf55-6f1c-4ea5-bc03-6fc7daea28ca

Lineage metadata: Nástroj pro správu kvality dat

Nejlepším způsobem pro dosažení kvality dat je kombinace nebo prolnutí následujících tří technik: dekódovaná (decoded) lineage, lineage podobnosti dat (data similarity lineage) a lineage ručního mapování (manual lineage mapping).

Firmy se snaží o získání poznatků z dat, které by jim zajistily konkurenční výhodu. Nejčastější překážkou pro dosažení uvedeného cíle je nízká kvalita dat. Pokud jsou do prediktivního algoritmu zadávána data tzv. špinavá (s chybějícími nebo neplatnými hodnotami), nelze zcela důvěřovat poznatku vytvořenému takovým algoritmem.

K dosažení kvality dat nestačí jen vyčistit historická data. Je nutno zajistit, aby byla čistá všechna nově generovaná data, a to zavedením sady funkcí a procesů pro správu kvality dat označovaných jako data governance (proces správy dat).

V prostředí spravovaných dat má každý typ dat datového správce (stevarda), který odpovídá za definování a prosazování kritérií pro čistotu dat. A každá datová hodnota má jasně definovanou lineage: víme, odkud pochází, jakými proměnami cestou prošla a jaké další datové položky jsou od této datové hodnoty odvozeny.

Firmy se snaží o získání poznatků z dat, které by jim zajistily konkurenční výhodu. Nejčastější překážkou pro dosažení uvedeného cíle je nízká kvalita dat. Pokud jsou do prediktivního algoritmu zadávána data tzv. špinavá (s chybějícími nebo neplatnými hodnotami), nelze zcela důvěřovat poznatku vytvořenému takovým algoritmem.

K dosažení kvality dat nestačí jen vyčistit historická data. Je nutno zajistit, aby byla čistá všechna nově generovaná data, a to zavedením sady funkcí a procesů pro správu kvality dat označovaných jako data governance (proces správy dat).

V prostředí spravovaných dat má každý typ dat datového správce (stevarda), který odpovídá za definování a prosazování kritérií pro čistotu dat. A každá datová hodnota má jasně definovanou lineage: víme, odkud pochází, jakými proměnami cestou prošla a jaké další datové položky jsou od této datové hodnoty odvozeny.

Lineage dat poskytuje společnostem řadu výhod

  • schopnost provádět dopadovou analýzu nebo analýzu kořenových příčin sledováním lineage dané datové položky směrem zpět (nalezení veškerých dat, která ovlivnila data posuzovaná) nebo vpřed (identifikovat všechna další data, která jsou posuzovanými daty ovlivněna);
  • standardizaci obchodního slovníku a terminologii usnadňující jasnou komunikaci mezi obchodními jednotkami;
  • vlastnictví, odpovědnost a sledovatelnost jakýchkoli změn provedených v datech díky rozsáhlému lineage záznamu o tom, kdo a kdy příslušné změny provedl.

Data Lineage = rodokmen dat, resp. zdokumentovaný původ dat

Zní to skvěle, ale kde informace o lineage dat vzít? Podíváme-li se na konkrétní datovou položku v databázi, zjistíme její aktuální hodnotu, ale už nikoliv informace o tom, jak se data vyvinula do své aktuální podoby. Co chybí, jsou data o datech (lineage metadata), která si automaticky uchovávají čas a zdroj každé změny provedené u každé datové položky, ať už byla změna provedena pomocí softwaru, nebo lidským správcem databáze.

Existují 3 techniky pro sběr lineage metadat

Každá má své silné a slabé stránky

1. Dekódovaná lineage

Spíše než na zkoumání datových hodnot jednotlivých databází a hledání vzájemných podobností se tento přístup zaměřuje výhradně na kód, který data zpracovává. Nástroje v této kategorii (MANTA, Octopai, Spline) snímají veškerou logiku za účelem jejího porozumění a případné zpětné rekonstrukce, a následně pro pochopení, jak jsou data měněna a která data jsou vstupy pro výpočet jiných dat. Tento přístup poskytuje nejpřesnější, nejúplnější a nejpodrobnější lineage metadata, protože je zpracovávána každá jednotlivá část logiky. Zároveň však má některé slabiny:

  • Může být obtížné vyvinout dostatečnou podporu pro tucty programovacích jazyků, které je třeba analyzovat, aby pokryly základy vašeho prostředí. Může vám to také zabránit v nasazení nové technologie, protože váš nástroj pro dekódovánou lineage ji dosud nepodporuje.
  • Verze kódu se v čase mění, takže při analýze datové linie aktuálního kódu může chybět důležitý tok, který byl v minulosti nahrazen.
  • Pokud se jedná o kód dynamický (kód je vytvářen za chodu na základě vstupů programu, dat v tabulkách, proměnných prostředí atd.), je potřeba nalézt způsob, jak tento dynamický kód zpracovat.
  • Všechny změny dat nejsou prováděny kódem. Předpokládejme například, že se na vašem webu vyskytne mimořádný výpadek, který správce databáze opraví ručně provedením posloupnosti příkazů SQL přímo v produkční databázi. Uvedené změny nebudou nikdy nástroji pro dekódovanou lineage detekovány, protože byly generovány správcem databáze, a nikoliv kódem.
  • Kód může s daty i nevhodně zacházet. Předpokládejme například, že váš kód v rozporu s GDPR ukládá osobní identifikační údaje, i přes jasné požadavky produktového manažera, aby se tak nedělo. Nástroj dekódované lineage věrně zachytí, co kód dělá, bez jakéhokoli varování.
  • Předpokládejme, že dvě části kódu ve dvou samostatných procesech provádějí shodné výpočty a vytvářejí stejná duplicitní data v databázi. Analýza kódu nedokáže tuto situaci zjistit, protože každý kus kódu se chová správně. Pouze prozkoumáním vlastních dat lze zdvojení zjistit a odstranit.
2. Lineage na základě podobnosti dat

Tento přístup vytváří informace o lineage zkoumáním dat v databázi bez přístupu k vlastnímu kódu. Nástroje této kategorie (Tamr, Paxata, Trifacta) profilují data ve vašich tabulkách a čtou databázová metadata o tabulkách, sloupcích atd., a následně všechny uvedené informace použijí k vytvoření lineage na základě podobností dat. Na jedné straně bude tento přístup vždy fungovat nezávisle na technologii kódování, protože analyzuje výsledná data bez ohledu na to, která technologie data vygenerovala. Má však několik evidentních slabin:

  • Zjišťování podobností dat v rozsáhlé databázi může zabrat spoustu času a výpočetní kapacity.
  • Ve výsledných metadatech chybí mnoho podrobností, např. transformační logika.

Nelze zjistit lineage metadata o datech, která dosud nebyla zpracována. Předpokládejme například, že existuje účetní proces roční závěrky, který upravuje výnosy nebo stav zásob. Dokud tento proces nebude spuštěn 31. prosince, nebudeme o něm mít k dispozici žádná lineage metadata.

3. Lineage ručního mapování

Tento přístup vytváří lineage metadata mapováním a dokumentováním obchodních znalostí lidí (například rozhovory s vlastníky aplikací, datovými stevardy a specialisty na integraci dat). Výhodou tohoto přístupu je, že poskytuje předepsaný lineage dat (jak by měla data plynout na rozdíl od toho, jak plynou po implementačních chybách). Protože jsou však metadata založena na lidských znalostech, mohou si vzájemně odporovat (protože různí lidé se neshodnou na požadovaném toku dat), nebo být neúplná (pokud o existenci datového souboru nevíte, nikoho se na něj nezeptáte).

Jak vidíte, neexistuje jeden univerzální prostředek, každý přístup má své silné i slabé stránky. Nejlepší řešení kombinuje všechny tři přístupy.

  • Začněte s dekódovanou lineage pomocí nástrojů jako MANTA, Octopai nebo Spline.
  • Přidejte o lineage podobnosti dat s profilací dat a nalezením vzorů v databázi pomocí nástrojů jako Tamr, Paxata nebo Trifacta.
  • Doplňte o lineage ručního mapování za účelem zachycení předepsaných pravidel lineage (například jak se měly implementovat datové toky).

Jakmile tyto techniky úspěšně zkombinujete, získáte komplexní lineage metadata a výhody spravovaných dat.

test