跳轉至

工具評估方法

本頁面介紹工具評估的相關方法與文件。

計分方式

工具評分系統

本文件概述了我們儲存庫中工具的評分和評級方式。

評分指標

這五個類別有助於整體工具評估分數。每個類別都有指定權重的子指標,類別分數計算為其子指標的加權平均值。

1. 操作功能(權重:10%)

子指標 資料類型 範例值
功能 整數 (1-5) 3
在地化與語言支援 整數 (1-5) 5
行動裝置可及性 整數 (1-5) 2

2. 非技術使用者的可用性(權重:25%)

子指標 資料類型 範例值
安裝/部署的簡易性 整數 (1-5) 3
使用者入門體驗 整數 (1-5) 4
所需技術經驗 整數 (1-5) 2

3. 安全與隱私強度(權重:30%)

子指標 資料類型 範例值
加密標準 整數 (1-5) 5
對抗已知威脅的彈性 整數 (1-5) 4
符合安全最佳實務 整數 (1-5) 3
資料最小化 整數 (1-5) 4
隱私權政策透明度 整數 (1-5) 5

4. 維護與永續性(權重:15%)

子指標 資料類型 範例值
積極開發 整數 (1-5) 5
社群支援 整數 (1-5) 3
資金與贊助 整數 (1-5) 2

5. 效能效率(權重:20%)

子指標 資料類型 範例值
CSO 功能 整數 (1-5) 4
相關性 整數 (1-5) 3
有效性 整數 (1-5) 2

最終評分計算

每個類別的評分是其子指標的加權平均值。然後,最終工具分數計算為所有五個類別的加權總和:

$ \text{Final Score} = (0.10 \times \text{Operational Functionality}) + (0.25 \times \text{Usability}) + (0.30 \times \text{Security}) + (0.15 \times \text{Maintenance/Sustainability}) + (0.20 \times \text{Performance}) $

我們正計劃建立一個系統,讓使用者可以在網頁上動態調整權重,以尋找符合其特定需求的工具。即將推出!

評級量表

最終分數會轉換為 1 到 5 的星級評等:

分數範圍 星級評等
4.5 - 5.0 ⭐⭐⭐⭐⭐
3.5 - 4.49 ⭐⭐⭐⭐☆
2.5 - 3.49 ⭐⭐⭐☆☆
1.5 - 2.49 ⭐⭐☆☆☆
0 - 1.49 ⭐☆☆☆☆

此系統可確保我們的工具評估一致、透明,並有助於使用者做出明智的決定。

資料結構

資料結構文件

本文件概述了我們儲存庫中用於工具提交和評估的資料結構。

總覽

工具儲存在一個 JSON 陣列中,其中每個工具都由一個物件表示,該物件包含描述其功能、能力和評估結果的各種欄位。

欄位說明

元資料

  • id (字串):工具的唯一識別碼
  • date_submitted (整數):初始提交的 Unix 時間戳
  • date_updated (整數):上次更新的 Unix 時間戳
  • submitted_by (字串):提交者的 GitHub 使用者名稱

基本資訊

  • tool-name (字串):工具名稱
  • tool-url (字串):官方網站或儲存庫 URL
  • category (字串):工具類別(例如,瀏覽器、密碼管理)
  • description (字串):工具用途的簡要說明
  • status (字串):目前狀態(活躍、不活躍、實驗性)

核心功能與相容性

  • core-features (字串):以逗號分隔的主要功能清單
  • os-compatibility (字串):支援的作業系統
  • offline-functionality (字串):「是」、「否」或「部分」
  • mobile-friendly (字串):「是」、「否」或「部分」
  • languages-supported (字串):支援的語言
  • technical-level (字串):所需的技術專業知識(初學者、中級、進階)

安全與隱私

  • security-privacy-features (字串):主要安全和隱私功能
  • data-collection-level (字串):「無」、「最少」或「廣泛」
  • security-privacy-strength-rating (字串):1-5 分的評分

部署與技術

  • deployment-architecture (字串):工具的部署方式
  • license (字串):授權類型(建議使用 SPDX 識別碼)
  • cost (字串):「完全免費」、「免費核心」、「訂閱模式」、「一次性購買」

維護與支援

  • maintenance-sustainability (字串):維護狀態和資金的說明
  • community-support (字串):「是」、「否」或「有限」
  • maintenance-sustainability-rating (字串):1-5 分的評分

效能與評分

  • operational-functionality-rating (字串):1-5 分的評分
  • usability-rating (字串):1-5 分的評分
  • effectiveness-reliability-rating (字串):1-5 分的評分
  • overall-rating (字串):所有評分的加權平均值

文件與測試

  • full-documentation (字串):完整文件的 URL
  • version-tested (字串):測試的版本號碼
  • date-tested (字串):測試日期(YYYY-MM-DD)
  • testing-environment (字串):測試環境的說明

其他資訊

  • limitations-vulnerabilities (字串):已知的限制或安全問題

範例 JSON

'''json { "id": "example-id-123", "date_submitted": 1744747334, "date_updated": 1744750500, "submitted_by": "username", "tool-name": "Example Tool", "tool-url": "https://example.com", "category": "Browser", "description": "A privacy-focused web browser", "status": "Active", "core-features": "Feature 1, Feature 2, Feature 3", "os-compatibility": "Windows, Linux, macOS", "offline-functionality": "Yes", "mobile-friendly": "Yes", "languages-supported": "English, Spanish, French", "technical-level": "Beginner", "security-privacy-features": "Feature A, Feature B", "data-collection-level": "Minimal", "security-privacy-strength-rating": "4.5", "deployment-architecture": "Desktop Application", "license": "MIT", "cost": "Fully Free", "maintenance-sustainability": "Regular updates, community-funded", "community-support": "Yes", "maintenance-sustainability-rating": "4.0", "operational-functionality-rating": "4.2", "usability-rating": "4.3", "effectiveness-reliability-rating": "4.4", "overall-rating": "4.3", "full-documentation": "https://docs.example.com", "version-tested": "1.0.0", "date-tested": "2024-03-21", "testing-environment": "Windows 11, macOS 14.2", "limitations-vulnerabilities": "Limited to specific use cases" } '''

說明

  1. 所有評分均為 1-5 分,數字越高越好
  2. 日期應為 YYYY-MM-DD 格式
  3. URL 應包含協定 (https://)
  4. 整體評分是個別評分的加權平均值
  5. 除非明確標示為可選,否則所有欄位都是必填的
評估範例

評估範例:Tor 瀏覽器

測試與評估表

工具總覽

  • 名稱:Tor 瀏覽器
  • 類別:隱私與安全
  • 用途:一款注重隱私的網頁瀏覽器,可將流量路由至 Tor 網路,以保護使用者的匿名性和線上隱私
  • 測試日期:2024-03-15
  • 狀態
  • [x] 已部署 / 未部署(已啟動或未啟動)
  • [x] 運作中 - 積極運行/維護
  • [ ] 測試中 - 目前正在評估或試行
  • [ ] 非活躍/已棄用 - 不再維護或運作
  • 部署架構
  • [x] 獨立軟體 - 完全在本機執行(例如,在電腦上執行且不依賴外部伺erv器)
  • [ ] 本機託管的服務,具有獨立的伺服器和用戶端元件
  • [ ] 具有本機用戶端的服務,由第三方託管
  • [ ] 由第三方託管但也可以自行託管的服務
  • 版本:13.0.10

安裝與設定

  • 作業系統相容性:Windows、macOS、Linux、Android
  • 安裝手冊:是
  • 安裝步驟
  • 從 torproject.org 下載適合您作業系統的版本
  • 解壓縮下載的檔案
  • 執行瀏覽器執行檔
  • 設定初始設定(可選)
  • 常見安裝問題與修正
  • 問題:瀏覽器無法連線至 Tor 網路
  • 修正:檢查網際網路連線和防火牆設定
  • 問題:初始連線緩慢
  • 修正:等待網路建立,考慮使用網橋
  • 使用者文件:是
  • 所需技術知識:初學者
  • 特殊設定:基本使用無需特殊設定

測試與評估

操作功能

  • 功能
  • 測試步驟:驗證核心功能,包括瀏覽、私密瀏覽、安全設定和網路設定
  • [ ] 該工具大多無法運作,有許多損壞的功能和錯誤
  • [ ] 數個損壞的功能或錯誤
  • [ ] 次要錯誤或問題
  • [x] 大致上功能正常,幾乎沒有錯誤或沒有錯誤
  • [ ] 功能完全正常,沒有錯誤

  • 網際網路依賴性

  • 模擬沒有網際網路連線:瀏覽器在沒有網際網路的情況下無法運作
  • 在 2G/3G 網路上測試:可以運作,但效能會降低

  • 在地化與語言支援

  • 可用語言:50 多種語言
  • 東亞語言:中文(簡體和繁體)、日文、韓文
  • 社群在地化:是,活躍的社群貢獻翻譯

  • 行動裝置可及性

  • 行動應用程式:適用於 Android
  • 主要功能:所有核心瀏覽功能都可在行動裝置上運作
  • 行動瀏覽器支援:不適用於 iOS

非技術使用者的可用性

  • 安裝與部署的簡易性
  • 安裝步驟:3-4 個步驟
  • 安裝類型:一鍵安裝
  • 文件狀態:定期更新
  • 安裝時間:5-10 分鐘

  • 使用者入門體驗

  • 工具提示:適用於安全功能
  • 應用程式內指引:已說明安全等級設定
  • 快速入門指南:包含在文件中

  • 所需技術經驗等級

  • 無需程式設計背景
  • 視覺化介面
  • 選單驅動
  • 無需終端機命令

安全與隱私強度

  • 加密標準
  • 加密:使用 AES-256 加密
  • E2E 加密:是,適用於 HTTPS 連線
  • 演算法:適用於 TLS 1.3 的 AES-256-GCM

  • 已知強度彈性

  • 抗審查性:是,包含內建網橋
  • 規避工具:是,內建
  • 已知弱點:某些網站會封鎖 Tor 出口節點

  • 與已知標準的比較

  • 符合或超過業界安全標準
  • 定期安全稽核
  • 強大的隱私保護

  • 資料最小化

  • 最少的資料收集
  • 無追蹤
  • 無遙測

  • 隱私權政策透明度

  • 清晰的隱私權政策
  • 無資料收集
  • 開源程式碼

維護/永續性

  • 社群支援
  • 活躍的社群論壇
  • 提供文件
  • 支援管道:論壇、IRC、電子郵件

  • 開發活躍狀態

  • 更新頻率:每月
  • 團隊回應速度:高
  • 上次更新:2024 年 3 月

  • 資金與贊助

  • 主要資助者:非政府組織、個人捐助者
  • 贊助商:各種注重隱私的組織
  • 財務永續性:良好,資金穩定

效能、有效性與可靠性

  • 測試環境設定
  • 裝置:MacBook Pro M1,16GB RAM
  • 作業系統:macOS 13.2
  • 網路:100Mbps 寬頻

  • 使用者體驗觀察

  • 流暢的瀏覽體驗
  • 回應迅速的介面
  • 初始連線時偶爾會變慢

  • 速度與回應速度

  • 載入時間:簡單頁面 2-3 秒
  • 回應速度:良好
  • 延遲:初始連線設定(30-60 秒)

  • 資源使用

  • CPU:正常使用期間 5-15%
  • 記憶體:200-300MB
  • 儲存空間:100MB

  • 網路效能

  • 延遲:200-300ms
  • 頻寬:2-3Mbps
  • 連線穩定性:良好

  • 可靠性

  • 錯誤率:<1%
  • 正常執行時間:99.9%
  • 核心測試:100% 成功率

部署考量

  • 開源與透明度
  • 完全開源
  • 程式碼可在 GitHub 上取得
  • 定期安全稽核

  • 雲端與本機部署

  • 僅限本機部署
  • 無雲端需求
  • 獨立應用程式

  • 依賴項

  • 無外部依賴項
  • 獨立
  • 清晰的文件

  • 部署後維護

  • 易於維護
  • 定期更新
  • 簡單的更新流程

測試情境

情境 1:基本瀏覽

  • 筆記:測試基本網頁瀏覽功能
  • 文件:所有核心功能皆如預期運作
  • 效能:良好,因 Tor 路由而預期會變慢

情境 2:安全功能

  • 筆記:測試安全設定和隱私功能
  • 文件:所有安全功能皆正常運作
  • 效能:對系統效能無影響

洞見與建議

  • 主要發現
  • 出色的隱私保護
  • 對非技術使用者而言具有良好的可用性
  • 可靠的效能
  • 強大的社群支援

  • 優點

  • 強大的隱私保護
  • 易於使用
  • 定期更新
  • 良好的文件
  • 活躍的社群

  • 弱點

  • 比一般瀏覽器慢
  • 某些網站會封鎖存取
  • 不支援 iOS
  • 初始連線設定時間

  • 建議改進

  • 改善初始連線速度
  • 新增 iOS 支援
  • 增強行動裝置體驗
  • 新增更多內建網橋

  • 替代工具

  • Brave 瀏覽器(較不注重隱私但速度較快)
  • 具有隱私擴充功能的 Firefox(更具可自訂性)
  • I2P 瀏覽器(替代的匿名網路)

授權

  • GPL-3.0

成本/資源影響

  • 總擁有成本
  • 免費使用
  • 無付費功能
  • 無隱藏成本
  • 最少的維護需求

這對威權環境中的公民社會有何用處?

Tor 瀏覽器對於威權環境中的公民社會組織特別有價值,因為: 1. 它提供強大的匿名性和隱私保護 2. 它有助於規避網際網路審查 3. 它能防範監視 4. 它是免費且開源的 5. 它會定期更新以應對新的審查技術 6. 它有內建的網橋,有助於在受限制的地區存取 Tor 網路 7. 它提供多種語言版本,包括東亞語言 8. 它只需要最少的技術知識即可使用 9. 它由一個強大的社群積極維護和支援 10. 它已在各種具挑戰性的環境中證明其有效性

注意:雖然 Tor 瀏覽器通常在全球都可用,但某些國家/地區會主動封鎖對 Tor 網路的存取。在這種情況下,使用者可能需要使用網橋或其他規避工具才能存取網路。

工具模板

測試範本

這個工具是否能展現其高影響力?

測試與評估表

工具總覽

  • 名稱:[工具名稱]
  • 類別:[類別,例如安全通訊、匿名、加密]
  • 用途:[工具的設計用途]
  • 測試日期:[測試日期]
  • 狀態
  • [ ] 已部署 / 未部署(已啟動或未啟動)
  • [ ] 運作中 - 積極運行/維護
  • [ ] 測試中 - 目前正在評估或試行
  • [ ] 非活躍/已棄用 - 不再維護或運作
  • 部署架構
  • [ ] 獨立軟體 - 完全在本機執行(例如,在電腦上執行且不依賴外部伺服器)
  • [ ] 本機託管的服務,具有獨立的伺服器和用戶端元件 - 自行執行後端/前端(例如,後端可以在本機網路上,或在雲端上自行託管)
  • [ ] 具有本機用戶端的服務,由第三方託管 - 您在裝置上安裝用戶端,但它會連線並依賴遠端伺服器(例如,Signal:安裝應用程式(用戶端),但 Signal 的伺服器處理訊息轉送等)
  • [ ] 由第三方託管但也可以自行託管的服務
  • 版本:[測試版本]

安裝與設定

  • 作業系統相容性:工具的作業系統相容性如何?
  • 安裝手冊:是/否
  • 安裝步驟:安裝過程是什麼?
  • 常見安裝問題與修正:列出使用者可能遇到的常見錯誤以及如何進行疑難排解
  • 使用者文件:是/否
  • 所需技術知識:無、初學者、中級、專業
  • 特殊設定:提及是否需要命令列設定或特殊設定

測試與評估

操作功能

  • 功能
  • 測試步驟:透過使用所有主要功能來驗證工具的核心功能,追蹤任何故障或錯誤。
  • [ ] 該工具大多無法運作,有許多損壞的功能和錯誤
  • [ ] 數個損壞的功能或錯誤
  • [ ] 次要錯誤或問題
  • [ ] 大致上功能正常,幾乎沒有錯誤或沒有錯誤
  • [ ] 功能完全正常,沒有錯誤

  • 網際網路依賴性

  • 模擬沒有網際網路連線(例如,停用 Wifi)
  • 在 2G/3G 網路上測試工具

  • 在地化與語言支援

  • 有多少種語言可用?
  • 有哪些東亞語言可用?
  • 他們是否有一個活躍的社群為在地化做出貢獻?

  • 行動裝置可及性

  • 驗證行動應用程式是否存在且功能正常
  • 在行動瀏覽器上測試關鍵功能(例如,導覽、上傳資料)

非技術使用者的可用性

  • 安裝與部署的簡易性
  • 安裝工具需要多少步驟?
  • 是否有一鍵安裝,或者需要命令列知識?
  • 設定指南、手冊和常見問題是否定期更新?
  • 一般安裝大約需要多少時間(例如,10 分鐘以下、30 分鐘以上)

  • 使用者入門體驗

  • 首次使用軟體時是否有任何工具提示或應用程式內指引?

  • 所需技術經驗等級

  • 沒有程式設計背景的使用者可以安裝並開始使用該工具嗎?
  • 介面是視覺化和選單驅動的,還是嚴重依賴終端機命令?

安全與隱私強度

  • 加密標準
  • 透過外部工具或專家審查驗證加密強度
  • 該工具是否使用 E2E 加密?使用什麼演算法?(例如,「使用 AES-256 加密;在測試中驗證 E2E」)

  • 已知強度彈性

  • 該工具是否可在具有嚴格審查或監視的地區使用?
  • 它是否包含內建的規避工具?
  • 有任何已知的弱點或風險嗎?

  • 與已知標準的比較

  • 該工具與既定的安全/隱私標準相比如何?

  • 資料最小化

  • 收集了哪些使用者資料?

  • 隱私權政策透明度

  • 隱私權政策對資料處理有何規定?

維護/永續性

  • 社群支援
  • 是否容易從其他使用者或開發人員那裡獲得協助、提問或找到解決方案?

  • 開發活躍狀態

  • 更新頻率如何?
  • 開發團隊的回應速度如何?

  • 資金與贊助

  • 主要資助者是誰?(例如,非政府組織、政府、私人捐助者)
  • 主要贊助商是誰?
  • 該軟體在財務上是否可持續?

效能/有效性與可靠性

  • 測試環境設定
  • 裝置:[裝置型號和規格(CPU、RAM 等)] -作業系統:[作業系統版本]
  • 網路:[網路類型和速度(例如,寬頻、3G/4G 等)]

  • 使用者體驗觀察

  • 工具感覺有多流暢?
  • 正常使用期間工具的回應速度如何?

  • 速度與回應速度

  • 它是否能有效率地載入和運作?
  • 進行速度測試以測量載入時間和回應速度(例如,使用 ping、traceroute、lighthouse)
  • 使用期間是否有任何明顯的延遲或延遲?

  • 資源使用

  • 它消耗多少 CPU 和記憶體?
  • 使用特定工具(如工作管理員(Windows)、htop(Linux)或活動監視器(macOS))測量 CPU 和記憶體使用情況?

  • 網路效能

  • 延遲和頻寬使用量是多少?
  • 透過使用 Wireshark 等工具監控頻寬消耗來測試網路效率。

  • 可靠性

  • 是否有獨立的同儕審查或第三方稽核?
  • 詳細說明低錯誤率並指定正常執行時間百分比
  • 多次執行核心測試並記錄失敗的嘗試次數

部署考量

  • 開源與透明度
  • 程式碼是否開放供獨立驗證?

  • 雲端與本機部署

  • 該工具是否需要像 AWS 或 Azure 這樣的雲端基礎架構,或者它可以在私有伺服器上本機執行?

  • 依賴項

  • 它是否需要 Docker、Python、資料庫等?
  • 依賴項是否清楚記錄?

  • 部署後維護

  • 部署後,工具是否易於維護?
  • 如果部署者決定分支該專案,程式碼是否易於修改?
  • 合併/永續性
  • 原始專案對貢獻的開放程度如何?
  • 是否有將變更提交回主儲存庫的簡化流程?

測試情境

情境 1

  • 筆記與文件

情境 2

  • 筆記與文件

洞見與建議

  • 主要發現
  • 主要發現是什麼?

  • 優點

  • 該工具有哪些好處?

  • 弱點

  • 該工具有哪些主要缺點?

  • 建議改進

  • 有哪些改進工具的建議?

  • 替代工具

  • 是否有更好的工具可用?如果是,是哪些工具?

  • 授權

  • 哪個授權?

  • 成本/資源影響

  • 總擁有成本
    • 該工具是否免費使用?
    • 是否有付費等級或付費功能?
    • 維護、第三方整合或更新是否有隱藏成本?
    • [授權成本、安裝、維護和疑難排解的時間、資源]

這對威權環境中的公民社會有何用處?

解釋為什麼這個工具對公民社會組織有用。包括它是否因防火牆或其他封鎖系統而在某些地區不可用。