Дія клацанням: додаткові можливості для роботи з елементами на екрані

Вимоги до системи

Copilot+ PC

• 40 TOPS NPU (нейронна процесорна одиниця)

• Оперативна пам'ять обсягом 16 ГБ

• 8 логічних процесорів

• Ємність сховища обсягом 256 ГБ

Щоб відобразити точку входу "Click to Do" із засобу захоплення фрагментів, потрібен засіб захоплення фрагментів версії 11.2411.20.0 або пізнішої версії.

Використання функції "Click to Do"

Просто натисніть клавішу Windows + клацання мишею або клавішу Windows + Q , щоб ввести Click to Do і вжити заходів щодо того, що ви клацали. Ви також можете ввести Click to Do, провівши пальцем праворуч на ПК з сенсорним керуванням або в меню Засіб захоплення фрагментів , якщо інстальовано засіб захоплення фрагментів . За потреби можна також знайти команду "Click to Do " у Windows Search , щоб вибрати та виконати дії, що відображаються. 

Під час першого запуску програми "Click to Do" вам буде запропоновано швидкий інтерактивний посібник, у якому показано, як швидше виконувати завдання. Ви можете повернутися до підручника в будь-який час, вибравши ..., а потім почати підручник. 

Якщо ви ІТ-адміністратор і вам потрібні додаткові відомості, див. статтю Керування командою "Click to Do".

Функція "Click to Do" робить більше з текстом

Під час виділення тексту за допомогою команди "Click to Do" доступні такі параметри:  

• Копіювання: копіювання виділеного тексту до буфера обміну

• Відкрити за допомогою: відкриття виділеного тексту в текстовому редакторі, наприклад Блокноті

• Пошук в Інтернеті: пошук виділеного тексту за допомогою Microsoft Edge і Bing

Якщо виділений текст – це адреса електронної пошти, можна скопіювати текст або:

• Надіслати повідомлення електронної пошти. Використовує стандартну програму електронної пошти, щоб відкрити нове повідомлення на вибрану адресу електронної пошти

• Надіслати повідомлення в Teams: відкриває повідомлення Teams, одержувачем якого є виділена адреса електронної пошти

• Планування нарад у Teams: відкриває нове запрошення в календарі Teams із виділеною адресою електронної пошти як учасником

Якщо виділений текст – це веб-сайт, можна скопіювати текст або відкрити веб-сайт.

• Відкрити веб-сайт: відкриває вибраний веб-сайт у вашому стандартному браузері

Інтелектуальніші текстові дії доступні, якщо мовою за замовчуванням вибрано англійську мову, вибрано принаймні 10 слів і ви ввійшли за допомогою облікового запису Microsoft або Microsoft Entra облікового запису. Інтелектуальні текстові дії на живлення від малої мовної моделі Phi Silica та NPU включають:

• Підсумовування: коротко окреслює основні точки виділеного тексту

• Створення маркірованого списку: створення маркірованого списку відомостей про ключ із виділеного тексту

• Переписати (казуальний): змінення виділеного тексту за допомогою випадкового тону

• Переписати (формальний): змінення виділеного тексту за допомогою формального тону

• Переписати (уточнити): змінення виділеного тексту, внесення граматичних удосконалень

• Чернетка на основі Copilot у Word: надсилання виділеного тексту до Copilot у Word

• вправи з тренування читання. Відкриває папку "Читання" вголос, де можна прочитати виділений текст. Тренування читання надає відгуки та вказівки щодо того, де вдосконалити вимову.

• читання із зануренням у текст. Відкриває Програму Читання Coach і відображає виділений текст у середовищі, яке не відволікає увагу. Ви можете читати текст уголос, використовувати словник зображень і виділяти іменники, дієслова та прикметники, щоб допомогти в вивченні граматики.

Функція "Click to Do" робить більше із зображеннями

Якщо ви виберете зображення, ви маєте такі параметри:

• Копіювання: копіювання зображення до буфера обміну

• Зберегти як: збереження зображення в указаному розташуванні

• Спільний доступ. Відкриття параметра надання спільного доступу до файлів для файлу зображення

• Відкрити за допомогою. Відкрийте зображення за допомогою такої програми, як "Фотографії", "Засіб захоплення фрагментів" або "Paint"

• Візуальний пошук за допомогою Bing: візуальний пошук за допомогою Bing за допомогою браузера за замовчуванням

• Розмиття фону за допомогою програми "Фотографії": розмиття фону за допомогою програми "Фотографії"

• Видалення об'єктів за допомогою програми "Фотографії": видалення небажаних об'єктів на зображенні за допомогою програми "Фотографії"

• Видалення фону за допомогою програми Paint: видалення фону зображення за допомогою програми Paint

Функція "Click to Do" робить більше можливостей із вмістом

Якщо виділити текст або зображення за допомогою кнопки "Click to Do", вам буде запропоновано запитати в Copilot. Copilot відкриється з вашим вмістом у полі запиту. Потім Copilot стає постачальником для завершення дії, оскільки вибраний вміст передається від Click to Do до Copilot.

Якщо ваш пристрій входить до складу організації вашої організації або навчального закладу, замість Ask Copilot відображається запит Microsoft 365 Copilot. Ця дія дозволяє Microsoft 365 Copilot вирішувати ваші запити. Щоб запитати в Microsoft 365 Copilot , потрібна ліцензія Microsoft 365 і вона поважає політику конфіденційності вашої організації.

Вимкнути команду "Click to Do"

За замовчуванням для ПК з Copilot+ увімкнуто функцію "Click to Do". Хоча її не можна видалити, її можна вимкнути або ввімкнути з такого розташування:

1. Відкрийте розділ Настройки, а потім перейдіть до розділу > Конфіденційність & безпеки > Натисніть кнопку До виконання.

2. Установіть для параметра Click to Do значення:

   • Увімкнуто: функцію "Click to Do" увімкнуто (за замовчуванням)

   • Вимкнуто: команду "Click to Do" вимкнуто

Коли функцію "Click to Do" вимкнуто, клавіша Windows + клацання мишею, клавіша Windows + Q, а також проведення пальцем праворуч на пк з підтримкою сенсорного керування не відкриватиме кнопку "Click to Do". Ви все одно можете побачити параметри для відкриття команди "Click to Do" з інших розташувань, наприклад засобу захоплення фрагментів, але якщо вибрати його, з'явиться повідомлення Про помилку "Не вдалося відкрити "Click to Do ". 

Click to Do regional variations

Функції дій клацанням залежать від країни або регіону та мовних параметрів пристрою. Розуміння цих відмінностей допомагає ефективно використовувати інструмент у різних середовищах. Нижче наведено основні відмінності між регіонами.

Click to Do privacy considerations 

Коли ви вирішите надіслати інформацію з Дії клацанням до програми, наприклад Paint, Дія клацанням тимчасово збереже цю інформацію, щоб виконати передачу. Дія клацанням створює тимчасовий файл у такому розташуванні: 

• c:\Users\{ім’я_користувача}\AppData\Local\Temp

Тимчасові файли також може бути збережено, коли ви вибираєте надсилання відгуку. Ці тимчасові файли не зберігаються довгостроково. Після виконання запитаної дії Дія клацанням не зберігає вміст з екрана. Однак файл зображення може бути збережено тимчасово, поки процес не буде повністю завершено або не буде розпочато нову дію. Також збираються певні діагностичні дані, щоб забезпечити захист, актуальність і роботу Дії клацанням.

Більш розумні текстові дії, які пропонує Дія клацанням, зокрема Підсумувати, Створити маркірований список, Переписати (неформально), Переписати (формально) та Переписати (Уточнити), працюють на основі сучасної малої мовної моделі під назвою Phi Silica. Phi Silica використовує нейронний процесор, а мовна модель працює локально на комп’ютерах Copilot+ PC. Phi Silica постачається разом із Windows на Copilot+ PC. 

Коли користувач клацає одну з дій Дії клацанням, виділений текст і вибрана дія надсилаються до Phi Silica як частина підказки. Phi Silica працює на пристрої локально. Phi Silica інтелектуально переписує вибраний текст відповідно до запиту користувача та повертає відповідь із моделі. Phi Silica реагує швидко й ефективно, споживаючи дуже мало енергії. Додаткові відомості див. в статті Phi Silica, невеликий, але потужний модуль SLM для пристроїв. 

Відповідно до зобов’язань корпорації Майкрософт щодо конфіденційності та безпеки даних усі збережені зображення та оброблені дані зберігаються на пристрої та обробляються локально. Проте Дія клацанням дозволяє вам вибрати, чи хочете ви отримати більше інформації про вибраний вміст в Інтернеті. Коли ви вибираєте одну з наведених нижче дій Дії клацанням, вибраний вміст надсилається до онлайнового постачальника з вашого локального пристрою для виконання запиту:

• Пошук в Інтернеті: надсилає вибраний вміст до Bing за допомогою Microsoft Edge

• Відкрити веб-сайт: відкриває вибраний веб-сайт у вашому стандартному браузері

• Образний пошук із Bing: надсилає вибраний вміст до Образного го пошуку Bing за допомогою вашого стандартного браузера

Докладні відомості про конфіденційність для Дії клацанням див. в Положенні про конфіденційність корпорації Майкрософт.

Зобов’язання корпорації Майкрософт щодо відповідального за ШІ й конфіденційності 

Корпорація Майкрософт працює над просуванням відповідального ШІ з 2017 року, коли ми вперше визначили принципи ШІ, а потім операційно оновили наш підхід за допомогою стандарту відповідального ШІ. Конфіденційність і безпека – це базові принципи розробки й розгортання систем ШІ. Ми працюємо над тим, щоб допомогти нашим клієнтам відповідально використовувати наші продукти на основі ШІ, ділитися своїми навчальними здобутками й будувати довірливі партнерські відносини. Докладні відомості про нашу роботу над відповідальним ШІ, принципи, якими ми керуємося, а також інструменти й можливості, які ми створили, щоб забезпечити відповідальну розробку технології ШІ, див. у статті Відповідальний ШІ.

Щоб внести ясність у принцип роботи кожної функції ШІ, важливо, щоб ви розуміли її можливості та обмеження. Ви маєте розуміти, які варіанти вибору надаються разом із функцією ШІ, і відповідальність, пов’язану з цими варіантами.

Дія клацанням пропонує дії, які ви можете виконати, і ви можете вибрати програми, які будуть постачальниками (якщо це можливо) для цих дій. Після того як ви виберете дію та постачальника для неї, за результати цієї дії відповідатиме постачальник. Наприклад, у меню Дії клацанням можна вибрати дію "Видалення фону за допомогою Paint", що означає, що ви вибрали програму Paint як постачальника для цієї дії.  Після того, як ви виберете дію в контекстному меню Дії клацанням, буде запущено програму Paint, яка обробить вибране зображення. 

Дія клацанням використовує оптичне розпізнавання символів (OCR) на комп’ютері, щоб виявляти текстові об’єкти на знімках екрана. Докладні відомості про OCR див. у статті Про прозорість та випадки використання OCR. 

У розумних текстових діях Дії клацанням використовується мала мовна модель під назвою Phi Silica. Докладні відомості про Phi Silica див. у розділі Початок роботи з Phi Silica у Windows App SDK. Відомості про принципи відповідального ШІ, які спрямовують розгортання Phi Silica, і заходи безпеки, які застосовуються під час використання генеративних мовних моделей, див. у розділі Відповідальна розробка генеративного ШІ у Windows. 

Моделі Дії клацанням пройшли оцінку прозорості, а також комплексну оцінку відповідального ШІ, безпеки та конфіденційності, щоб гарантувати, що технологія є ефективною, справедливою та дотримується найкращих практик Microsoft у сфері відповідального ШІ. 

​​​​​​​​​​​​​​​​​​​​