Съдържание
- Задачата на Лукрат
- Резултати
- Ефективност на инвестицията
- Ефективност на препоръките
- Процесът на работа
- Участниците
Орбифон 01001 – www.01001.bg – е телефонна услуга на Орбител – www.orbitel.bg – чрез която абонати на БТК водят междуселищни и международни разговори през мрежата на Орбител. За да се ползва услугата е необходимо предварително да се регистрира телефонният номер, от който ще се провеждат обажданията.
Орбител изцяло изнесоха информацията за услугата, регистрацията и плащанията за разговорите в сайт. Мотивът е да се сведат до минимум (практически до нула) административните разходи и така да се поддържат ниски цени на разговорите. Съответно целта на сайта е потребителите да се регистрират, плащат и управляват сметките си изцяло самостоятелно, без поддръжка от страна на Орбител.
Задачата на Лукрат
Задачата ни се състоеше от три части:
- Да проверим взаимодействието при регистрация, настройки и управление на сметка.
- Да сравним въздействието на сайта върху потребителите с целите и изискванията на Орбител.
- Въз основа на резултатите от 1 и 2 да дадем предложения за отстраняване на проблемите, повишаване на ефективността и подобряване на качеството на взаимодействието на потребителите със сайта.
Тествахме следните елементи на сайта:
- начална страница,
- функционален прототип,
- разбираемост на текстовете и описанията,
- въздействие на художествения дизайн.
След тестването бяха направени промени и сайтът пуснат. След пускането на сайта проведохме повторно тестване, за да разберем доколко резултатите от тестването и прилагането на препоръките от него са повишили ползваемостта и ефективността на сайта. Повторното тестване ни даде възможност да:
- да съпоставим резултатите с тези от предишното тестване,
- да проверим дали не сме пропуснали нещо при първото тестване.
Резултати
При второто тестване получихме много по-добри резултати от първото. Успеваемостта на участниците се повиши от 52 на 86 процента, а удовлетвореността им, от 3,58 на 4,47 (по скала от 1=много недоволен до 5=много доволен). След втория тест допълнително бяха направени промени във вече пуснатия сайт, за да се адресират някои от оставащите и от новооткритите проблеми.
Успеваемостта и удовлетвореността са два от основните показатели за измерване на ползваемостта.
Успеваемостта показва дали потребителят е изпълнил задачата си или не. Обобщена за всички задачи, свързани с един продукт или тестова сесия, успеваемостта показва степента, до която хората се справят с продукта. Така например средна успеваемост 60% за даден сайт означава, че всеки отделен човек се справя с 6 от 10 поставени задачи или че 6 от 10 души се справят със задачите.
Удовлетвореността показва доколко хората са доволни от продукта. Оценява се по няколко критерия по скала от 1 = много недоволен до 5 = много доволен. Оценките са субективни, но са ясен показател за степента, в която продуктът отговаря на изискванията и очакванията на потребителите.
Успеваемост
За всяка задача отбелязвахме успеваемостта като 1 = успех или 0 = неуспех.
Таблица 1. Успеваемост при двете тествания и разлики между резултатите
Задачи | 1 -ви тест | 2 -ри тест | разлика в % |
Средно | 0,52 | 0,86 | 65 % |
Регистрация | 0,36 | 0,71 | 97% |
Намиране на информация за ползване | 0,50 | 0,88 | 76% |
Влизане в Моят Орбифон | 0,58 | 0,71 | 22% |
Добавяне на номер | 0,65 | 0,88 | 35% |
Въвеждане на лимит | 0,29 | 0,45 | 55% |
Настройказа презареждане | 0,50 | 0,71 | 42% |
Зареждане с карта | 0,79 | 0,88 | 11% |
Проверка на сметка | 0,36 | 0,88 | 144% |
Промяна на номер | 0,65 | 0,88 | 35% |
Средната успеваемост при първото тестване беше 52%. Това е приблизителната норма за ефективността на българските сайтове. Особено обезпокоителни бяха ниските резултати при регистрация и намиране на информация за ползване: потребителите не успяваха да се справят с най-важната част от сайта. пмаше и редица други проблеми, които възпрепятстваха нормалната работа.
При второто тестване се забеляза значително подобрение. Средната успеваемост се повиши от 52 на 86 на сто . С други думи, средният резултат при второто тестване е с 65% по-добър от този при второто. пзчислихме средните стойности за доверителен интервал от 95% по метода на Уолд за изменения интервал. За първото тестване интервалът е +/- 10, а за второто, +/- 9.
Фигура 1. Средна успеваемост при двата теста
Потребителите не срещнаха сериозни проблеми при второто тестване.
- Само един от участниците не успя да се регистрира, но причините бяха от личен характер и не се дължаха на недостатък в дизайна на сайта. (Участникът имаше записана паролата за текущата си сметка в къщи и не разполагаше с нея в момента на тестването.)
- Наблюдавахме някои нови проблеми, но те имаха предимно козметичен характер.
- Повторно наблюдавахме и проблеми, които не бяха отстранени след първия тест (поради недостиг на време или временни компромиси). Те продължаваха да възпрепятстват потребителите.
Най-значимо е подобрението в регистрацията – на практика имаме удвояване на успеваемостта. Това означава, че почти всички хора, които биха искали да ползват Орбифон 01001, могат да се регистрират самостоятелно на сайта още при първия си опит. Непосредственият резултат е много повече клиенти, записани за услугата, което ще доведе съответно до по-големи приходи за фирмата.
Високата успеваемост е от изключителна важност за Орбител от бизнес гледна точка. Тя гарантира, че заложените цели, а именно ниска себестойност на поддръжка от страна на Орбител и самостоятелна работа на потребителите със сайта, са постигнати.
Удовлетвореност
Участниците оцениха удовлетвореността си от работата със сайта по скалата:
- = много недоволен
- = недоволен
- = колкото недоволен, толкова недоволен
- = доволен
- = много доволен
Таблица 2. Удовлетвореност при двете тествания и разлики между резултатите
1-ви тест | 2-ри тест | разлика в % 2 спрямо 1 | |
Средно | 3,58 | 4,47 | 25% |
Разбираемост на текстовете | 3,1 | 4,17 | 35% |
Цялостна лекота на ползване | 3,9 | 4,67 | 20% |
Намиране на информация | 3,5 | 4 | 14% |
Тон и стил на текстовете | 3,7 | 4,67 | 26% |
Общ вид на сайта | 3,7 | 4,83 | 31% |
Средната оценка за удовлетвореност от сайта при повторния тест е 4.47 (като 1 е много недоволен, а 5 е много доволен), което означава, че оценката се е покачила с 25%. Ако при първото тестване потребителите вероятно са били доволни от сайта, то след второто тестване те вече очевидно са доволни от него и то много. Най-голям принос за повишената удовлетвореност имат подобряването на текстовете и общият вид на сайта.
Ефективност на инвестицията
За първите 40 дни след пускане на услугата регистрирациите на сайта са били 8000. Прекият извод, въз основа получените резултати от тестването е, че ако сайтът не беше тестван с потребители, успешните регистрации вероятно щяха да са два пъти по-малко.
Според препоръките на Джейкъб Нийлсен 10 на сто от бюджета на един софтуерен проект трябва да се заделят за ползваемост. Не можем да цитираме числата на бюджетите за разработване на сайта и тестването с потребители, но можем да кажем, че пропорцията в случая Орбифон 01001 е подобна.
Сега вече става видима изключително високата ефективност на средствата, вложени в ползваемост. Въз основа на данните, които имаме дотук, и направените разсъждения стигаме до следната таблица:
Таблица 3. пнвестиции и ефективност
вложени единици* | регистрации | брой регистрации на вложена единица | |
Само разработка | 90 | 4000 | 44,4 |
Работа с потребители | 10 | 4000 | 400 |
Разработка + | 100 | 8000 | 80 |
* За удобство използваме мярката единици, а не левове.
Една десета от парите по проекта са вложени в ползваемост (под формата на тестване с потребители) и с тяхна помощ се удвояват регистрациите в сайта. Резултатът е повече от добър: всяка една парична единица, вложена за работа с потребители, увеличава регистрациите с 400. В случая, инвестицията в ползваемост е увеличила броя на регистрациите за единица вложени средства в проекта с около 80%.
п това не е всичко
Освен повече клиенти повишената успеваемост означава и спестени пари за поддръжката им. Почти пълната успеваемост при задачите за управление на клиентските сметки означава, че по-малко хора ще се обаждат по телефона за поддръжка, за да питат как да направят едно или друго.
По-високата удовлетвореност, също като успеваемостта, води до повече клиенти и повече приходи. По-доволните потребители ще ползват услугата повече и ще бъдат по-лоялни към компанията, която им я предоставя. Освен това, по-доволните потребители ще са по-склонни да препоръчат сайта и услугата на свои приятели, които на свой ред може да станат негови клиенти. Така се пести от реклама.
Малкият брой недоволни потребители пък означава и по-малък брой отрицателни мнения за сайта и услугата. По правило, недоволните клиенти се оплакват повече отколкото доволните препоръчват. Един вариант на правилото твърди, че доволният клиент препоръчва на 6 души, а недоволният се оплаква на 9. Следвайки допускането по горе, работата по подобряване на ползваемостта на сайта е довела до 2000 нови доволни потребителя и така сме увеличили потенциалните препоръки с 12 000 и сме намалили потенциалните отрицателни мнения с 18 000.
Ефективност на препоръките
Следването на препоръките на Лукрат води до подобряване на ползваемостта. Таблицата по-долу показва броя наблюдавани проблеми и броя на дадените препоръки за отстраняване на проблемите.
Таблица 4. Брой препоръки и отсранени и неотстранени проблеми
1-ви тест | адресирани | оставащи | % адресирани от налични | |
Проблеми | 30 | 22 | 8 | 73% |
Препоръки | 36 | 20 | 16 | 56% |
По време на първото тестване описахме 30 проблема и дадохме 36 препоръки за подобряване на интерфейса и потребителското взаимодействие. За някои проблеми имаше по няколко препоръки, а някои препоръки се отнасяха за няколко проблема.
Отстраняването на 73% от проблемите, наблюдавани при първото тестване, е довело до подобряване на успеваемостта на потребителите със 65%. Резултатите недвусмислено показват, че спазването на препоръките на Лукрат е довело до значително подобряване на ползваемостта на сайта.
Както вече беше споменато не всички проблеми бяха отстранени след първото тестване поради недостиг на време, неяснота в потребителските очаквания или друи причини. При повторното тестване отново наблюдавахме някои от проблемите, които бяха останали неадресирани. След отстраняването и на тези проблеми, както и на наблюдаваните нови при второто тестване, очакваме ефективността на сайта се е повишила още повече.
Процесът на работа
Сайтът бе изработен от Нетейдж – web.netagesolutions.com – водещ производител на сайтове в България. Производственият процес на Нетейдж за интерактивни сайтове включва изготвяне на функционален прототип (съдържа всички страници и текстове, връзките и бутоните работят, ползват се фиктивни данни, които не са вързани към база). Прототипът дава възможност сравнително лесно и бързо:
- да се покаже на клиента какъв ще бъде сайтът и как ще работи,
- да се провери как го възприемат потребителите и как се справят с него,
- да се правят промени и да се експериментира с различни възможности.
Прототипът беше прегледан от клиента. Направиха се изменения, за да се съгласуват гледните точки на ръководството, маркетинга, рекламата, информационните технологии, финансите и връзките с обществеността. Набелязаха се спорни въпроси, чието решение зависеше от крайните потребители.
Следващата стъпка беше с помощта на потребители да се проверят предположенията и намерят решения на спорните въпроси. Трябваше да се идентифицират, опишат и отстранят проблемите, които потребителите срещат при ползване на сайта, за да може крайният продукт да е максимално лесен и удобен за ползване.
След тестването, въз основа на резултатите и наблюденията ни, предложихме начини за подобряване на взаимодействието и повишаване на показателите за ползваемост. Приоритизирахме предложенията заедно с Нетейдж и Орбител и определихме кои ще бъдат приложени. Екипът на Нетейдж направи необходимите промени.
Работихме в много стегнати срокове. Орбител искаха да пуснат сайта на определена дата. Проведохме тестването и предадохме резултатите от него в рамките на 2½ работни дни. След още 5 дни препоръките бяха приложени и сайтът беше пуснат.
Участниците
Участниците в тестовете бяха представители на целевата група потребители, определена от Орбител:
- абонати на БТК,
- познават VoIP,
- имат достъп до пнтернет,
- имат дебитна карта,
- на възраст между 18 и 45 г.,
- чувстват се удобно с информационните технологии.
Обособихме 2 групи участници:
- Нови за Орбител – хора, които нямат регистрирани сметки в Орбител. С тях тествахме регистрация за услугата.
- Клиенти на Орбител – такива, които имат регистрирани сметки за Орбинет или Орбифон. С тях тествахме прехвърляне на сметка от текущата им услуга към Орбифон 01001.
Участниците във второто тестване не са участвали в първото тестване.