工具評估方法
本頁面介紹工具評估的相關方法與文件。
計分方式
工具評分系統
本文件概述了我們儲存庫中工具的評分和評級方式。
評分指標
這五個類別有助於整體工具評估分數。每個類別都有指定權重的子指標,類別分數計算為其子指標的加權平均值。
1. 操作功能(權重:10%)
子指標 | 資料類型 | 範例值 |
---|---|---|
功能 | 整數 (1-5) | 3 |
在地化與語言支援 | 整數 (1-5) | 5 |
行動裝置可及性 | 整數 (1-5) | 2 |
2. 非技術使用者的可用性(權重:25%)
子指標 | 資料類型 | 範例值 |
---|---|---|
安裝/部署的簡易性 | 整數 (1-5) | 3 |
使用者入門體驗 | 整數 (1-5) | 4 |
所需技術經驗 | 整數 (1-5) | 2 |
3. 安全與隱私強度(權重:30%)
子指標 | 資料類型 | 範例值 |
---|---|---|
加密標準 | 整數 (1-5) | 5 |
對抗已知威脅的彈性 | 整數 (1-5) | 4 |
符合安全最佳實務 | 整數 (1-5) | 3 |
資料最小化 | 整數 (1-5) | 4 |
隱私權政策透明度 | 整數 (1-5) | 5 |
4. 維護與永續性(權重:15%)
子指標 | 資料類型 | 範例值 |
---|---|---|
積極開發 | 整數 (1-5) | 5 |
社群支援 | 整數 (1-5) | 3 |
資金與贊助 | 整數 (1-5) | 2 |
5. 效能效率(權重:20%)
子指標 | 資料類型 | 範例值 |
---|---|---|
CSO 功能 | 整數 (1-5) | 4 |
相關性 | 整數 (1-5) | 3 |
有效性 | 整數 (1-5) | 2 |
最終評分計算
每個類別的評分是其子指標的加權平均值。然後,最終工具分數計算為所有五個類別的加權總和:
$ \text{Final Score} = (0.10 \times \text{Operational Functionality}) + (0.25 \times \text{Usability}) + (0.30 \times \text{Security}) + (0.15 \times \text{Maintenance/Sustainability}) + (0.20 \times \text{Performance}) $
我們正計劃建立一個系統,讓使用者可以在網頁上動態調整權重,以尋找符合其特定需求的工具。即將推出!
評級量表
最終分數會轉換為 1 到 5 的星級評等:
分數範圍 | 星級評等 |
---|---|
4.5 - 5.0 | ⭐⭐⭐⭐⭐ |
3.5 - 4.49 | ⭐⭐⭐⭐☆ |
2.5 - 3.49 | ⭐⭐⭐☆☆ |
1.5 - 2.49 | ⭐⭐☆☆☆ |
0 - 1.49 | ⭐☆☆☆☆ |
此系統可確保我們的工具評估一致、透明,並有助於使用者做出明智的決定。
資料結構
資料結構文件
本文件概述了我們儲存庫中用於工具提交和評估的資料結構。
總覽
工具儲存在一個 JSON 陣列中,其中每個工具都由一個物件表示,該物件包含描述其功能、能力和評估結果的各種欄位。
欄位說明
元資料
id
(字串):工具的唯一識別碼date_submitted
(整數):初始提交的 Unix 時間戳date_updated
(整數):上次更新的 Unix 時間戳submitted_by
(字串):提交者的 GitHub 使用者名稱
基本資訊
tool-name
(字串):工具名稱tool-url
(字串):官方網站或儲存庫 URLcategory
(字串):工具類別(例如,瀏覽器、密碼管理)description
(字串):工具用途的簡要說明status
(字串):目前狀態(活躍、不活躍、實驗性)
核心功能與相容性
core-features
(字串):以逗號分隔的主要功能清單os-compatibility
(字串):支援的作業系統offline-functionality
(字串):「是」、「否」或「部分」mobile-friendly
(字串):「是」、「否」或「部分」languages-supported
(字串):支援的語言technical-level
(字串):所需的技術專業知識(初學者、中級、進階)
安全與隱私
security-privacy-features
(字串):主要安全和隱私功能data-collection-level
(字串):「無」、「最少」或「廣泛」security-privacy-strength-rating
(字串):1-5 分的評分
部署與技術
deployment-architecture
(字串):工具的部署方式license
(字串):授權類型(建議使用 SPDX 識別碼)cost
(字串):「完全免費」、「免費核心」、「訂閱模式」、「一次性購買」
維護與支援
maintenance-sustainability
(字串):維護狀態和資金的說明community-support
(字串):「是」、「否」或「有限」maintenance-sustainability-rating
(字串):1-5 分的評分
效能與評分
operational-functionality-rating
(字串):1-5 分的評分usability-rating
(字串):1-5 分的評分effectiveness-reliability-rating
(字串):1-5 分的評分overall-rating
(字串):所有評分的加權平均值
文件與測試
full-documentation
(字串):完整文件的 URLversion-tested
(字串):測試的版本號碼date-tested
(字串):測試日期(YYYY-MM-DD)testing-environment
(字串):測試環境的說明
其他資訊
limitations-vulnerabilities
(字串):已知的限制或安全問題
範例 JSON
'''json { "id": "example-id-123", "date_submitted": 1744747334, "date_updated": 1744750500, "submitted_by": "username", "tool-name": "Example Tool", "tool-url": "https://example.com", "category": "Browser", "description": "A privacy-focused web browser", "status": "Active", "core-features": "Feature 1, Feature 2, Feature 3", "os-compatibility": "Windows, Linux, macOS", "offline-functionality": "Yes", "mobile-friendly": "Yes", "languages-supported": "English, Spanish, French", "technical-level": "Beginner", "security-privacy-features": "Feature A, Feature B", "data-collection-level": "Minimal", "security-privacy-strength-rating": "4.5", "deployment-architecture": "Desktop Application", "license": "MIT", "cost": "Fully Free", "maintenance-sustainability": "Regular updates, community-funded", "community-support": "Yes", "maintenance-sustainability-rating": "4.0", "operational-functionality-rating": "4.2", "usability-rating": "4.3", "effectiveness-reliability-rating": "4.4", "overall-rating": "4.3", "full-documentation": "https://docs.example.com", "version-tested": "1.0.0", "date-tested": "2024-03-21", "testing-environment": "Windows 11, macOS 14.2", "limitations-vulnerabilities": "Limited to specific use cases" } '''
說明
- 所有評分均為 1-5 分,數字越高越好
- 日期應為 YYYY-MM-DD 格式
- URL 應包含協定 (https://)
- 整體評分是個別評分的加權平均值
- 除非明確標示為可選,否則所有欄位都是必填的
評估範例
評估範例:Tor 瀏覽器
測試與評估表
工具總覽
- 名稱:Tor 瀏覽器
- 類別:隱私與安全
- 用途:一款注重隱私的網頁瀏覽器,可將流量路由至 Tor 網路,以保護使用者的匿名性和線上隱私
- 測試日期:2024-03-15
- 狀態:
- [x] 已部署 / 未部署(已啟動或未啟動)
- [x] 運作中 - 積極運行/維護
- [ ] 測試中 - 目前正在評估或試行
- [ ] 非活躍/已棄用 - 不再維護或運作
- 部署架構:
- [x] 獨立軟體 - 完全在本機執行(例如,在電腦上執行且不依賴外部伺erv器)
- [ ] 本機託管的服務,具有獨立的伺服器和用戶端元件
- [ ] 具有本機用戶端的服務,由第三方託管
- [ ] 由第三方託管但也可以自行託管的服務
- 版本:13.0.10
安裝與設定
- 作業系統相容性:Windows、macOS、Linux、Android
- 安裝手冊:是
- 安裝步驟:
- 從 torproject.org 下載適合您作業系統的版本
- 解壓縮下載的檔案
- 執行瀏覽器執行檔
- 設定初始設定(可選)
- 常見安裝問題與修正:
- 問題:瀏覽器無法連線至 Tor 網路
- 修正:檢查網際網路連線和防火牆設定
- 問題:初始連線緩慢
- 修正:等待網路建立,考慮使用網橋
- 使用者文件:是
- 所需技術知識:初學者
- 特殊設定:基本使用無需特殊設定
測試與評估
操作功能
- 功能
- 測試步驟:驗證核心功能,包括瀏覽、私密瀏覽、安全設定和網路設定
- [ ] 該工具大多無法運作,有許多損壞的功能和錯誤
- [ ] 數個損壞的功能或錯誤
- [ ] 次要錯誤或問題
- [x] 大致上功能正常,幾乎沒有錯誤或沒有錯誤
-
[ ] 功能完全正常,沒有錯誤
-
網際網路依賴性:
- 模擬沒有網際網路連線:瀏覽器在沒有網際網路的情況下無法運作
-
在 2G/3G 網路上測試:可以運作,但效能會降低
-
在地化與語言支援
- 可用語言:50 多種語言
- 東亞語言:中文(簡體和繁體)、日文、韓文
-
社群在地化:是,活躍的社群貢獻翻譯
-
行動裝置可及性
- 行動應用程式:適用於 Android
- 主要功能:所有核心瀏覽功能都可在行動裝置上運作
- 行動瀏覽器支援:不適用於 iOS
非技術使用者的可用性
- 安裝與部署的簡易性
- 安裝步驟:3-4 個步驟
- 安裝類型:一鍵安裝
- 文件狀態:定期更新
-
安裝時間:5-10 分鐘
-
使用者入門體驗
- 工具提示:適用於安全功能
- 應用程式內指引:已說明安全等級設定
-
快速入門指南:包含在文件中
-
所需技術經驗等級
- 無需程式設計背景
- 視覺化介面
- 選單驅動
- 無需終端機命令
安全與隱私強度
- 加密標準
- 加密:使用 AES-256 加密
- E2E 加密:是,適用於 HTTPS 連線
-
演算法:適用於 TLS 1.3 的 AES-256-GCM
-
已知強度彈性
- 抗審查性:是,包含內建網橋
- 規避工具:是,內建
-
已知弱點:某些網站會封鎖 Tor 出口節點
-
與已知標準的比較
- 符合或超過業界安全標準
- 定期安全稽核
-
強大的隱私保護
-
資料最小化
- 最少的資料收集
- 無追蹤
-
無遙測
-
隱私權政策透明度
- 清晰的隱私權政策
- 無資料收集
- 開源程式碼
維護/永續性
- 社群支援
- 活躍的社群論壇
- 提供文件
-
支援管道:論壇、IRC、電子郵件
-
開發活躍狀態
- 更新頻率:每月
- 團隊回應速度:高
-
上次更新:2024 年 3 月
-
資金與贊助
- 主要資助者:非政府組織、個人捐助者
- 贊助商:各種注重隱私的組織
- 財務永續性:良好,資金穩定
效能、有效性與可靠性
- 測試環境設定:
- 裝置:MacBook Pro M1,16GB RAM
- 作業系統:macOS 13.2
-
網路:100Mbps 寬頻
-
使用者體驗觀察
- 流暢的瀏覽體驗
- 回應迅速的介面
-
初始連線時偶爾會變慢
-
速度與回應速度:
- 載入時間:簡單頁面 2-3 秒
- 回應速度:良好
-
延遲:初始連線設定(30-60 秒)
-
資源使用:
- CPU:正常使用期間 5-15%
- 記憶體:200-300MB
-
儲存空間:100MB
-
網路效能:
- 延遲:200-300ms
- 頻寬:2-3Mbps
-
連線穩定性:良好
-
可靠性
- 錯誤率:<1%
- 正常執行時間:99.9%
- 核心測試:100% 成功率
部署考量
- 開源與透明度:
- 完全開源
- 程式碼可在 GitHub 上取得
-
定期安全稽核
-
雲端與本機部署:
- 僅限本機部署
- 無雲端需求
-
獨立應用程式
-
依賴項:
- 無外部依賴項
- 獨立
-
清晰的文件
-
部署後維護
- 易於維護
- 定期更新
- 簡單的更新流程
測試情境
情境 1:基本瀏覽
- 筆記:測試基本網頁瀏覽功能
- 文件:所有核心功能皆如預期運作
- 效能:良好,因 Tor 路由而預期會變慢
情境 2:安全功能
- 筆記:測試安全設定和隱私功能
- 文件:所有安全功能皆正常運作
- 效能:對系統效能無影響
洞見與建議
- 主要發現
- 出色的隱私保護
- 對非技術使用者而言具有良好的可用性
- 可靠的效能
-
強大的社群支援
-
優點:
- 強大的隱私保護
- 易於使用
- 定期更新
- 良好的文件
-
活躍的社群
-
弱點:
- 比一般瀏覽器慢
- 某些網站會封鎖存取
- 不支援 iOS
-
初始連線設定時間
-
建議改進
- 改善初始連線速度
- 新增 iOS 支援
- 增強行動裝置體驗
-
新增更多內建網橋
-
替代工具:
- Brave 瀏覽器(較不注重隱私但速度較快)
- 具有隱私擴充功能的 Firefox(更具可自訂性)
- I2P 瀏覽器(替代的匿名網路)
授權
- GPL-3.0
成本/資源影響
- 總擁有成本:
- 免費使用
- 無付費功能
- 無隱藏成本
- 最少的維護需求
這對威權環境中的公民社會有何用處?
Tor 瀏覽器對於威權環境中的公民社會組織特別有價值,因為: 1. 它提供強大的匿名性和隱私保護 2. 它有助於規避網際網路審查 3. 它能防範監視 4. 它是免費且開源的 5. 它會定期更新以應對新的審查技術 6. 它有內建的網橋,有助於在受限制的地區存取 Tor 網路 7. 它提供多種語言版本,包括東亞語言 8. 它只需要最少的技術知識即可使用 9. 它由一個強大的社群積極維護和支援 10. 它已在各種具挑戰性的環境中證明其有效性
注意:雖然 Tor 瀏覽器通常在全球都可用,但某些國家/地區會主動封鎖對 Tor 網路的存取。在這種情況下,使用者可能需要使用網橋或其他規避工具才能存取網路。
工具模板
測試範本
這個工具是否能展現其高影響力?
測試與評估表
工具總覽
- 名稱:[工具名稱]
- 類別:[類別,例如安全通訊、匿名、加密]
- 用途:[工具的設計用途]
- 測試日期:[測試日期]
- 狀態:
- [ ] 已部署 / 未部署(已啟動或未啟動)
- [ ] 運作中 - 積極運行/維護
- [ ] 測試中 - 目前正在評估或試行
- [ ] 非活躍/已棄用 - 不再維護或運作
- 部署架構:
- [ ] 獨立軟體 - 完全在本機執行(例如,在電腦上執行且不依賴外部伺服器)
- [ ] 本機託管的服務,具有獨立的伺服器和用戶端元件 - 自行執行後端/前端(例如,後端可以在本機網路上,或在雲端上自行託管)
- [ ] 具有本機用戶端的服務,由第三方託管 - 您在裝置上安裝用戶端,但它會連線並依賴遠端伺服器(例如,Signal:安裝應用程式(用戶端),但 Signal 的伺服器處理訊息轉送等)
- [ ] 由第三方託管但也可以自行託管的服務
- 版本:[測試版本]
安裝與設定
- 作業系統相容性:工具的作業系統相容性如何?
- 安裝手冊:是/否
- 安裝步驟:安裝過程是什麼?
- 常見安裝問題與修正:列出使用者可能遇到的常見錯誤以及如何進行疑難排解
- 使用者文件:是/否
- 所需技術知識:無、初學者、中級、專業
- 特殊設定:提及是否需要命令列設定或特殊設定
測試與評估
操作功能
- 功能
- 測試步驟:透過使用所有主要功能來驗證工具的核心功能,追蹤任何故障或錯誤。
- [ ] 該工具大多無法運作,有許多損壞的功能和錯誤
- [ ] 數個損壞的功能或錯誤
- [ ] 次要錯誤或問題
- [ ] 大致上功能正常,幾乎沒有錯誤或沒有錯誤
-
[ ] 功能完全正常,沒有錯誤
-
網際網路依賴性:
- 模擬沒有網際網路連線(例如,停用 Wifi)
-
在 2G/3G 網路上測試工具
-
在地化與語言支援
- 有多少種語言可用?
- 有哪些東亞語言可用?
-
他們是否有一個活躍的社群為在地化做出貢獻?
-
行動裝置可及性
- 驗證行動應用程式是否存在且功能正常
- 在行動瀏覽器上測試關鍵功能(例如,導覽、上傳資料)
非技術使用者的可用性
- 安裝與部署的簡易性
- 安裝工具需要多少步驟?
- 是否有一鍵安裝,或者需要命令列知識?
- 設定指南、手冊和常見問題是否定期更新?
-
一般安裝大約需要多少時間(例如,10 分鐘以下、30 分鐘以上)
-
使用者入門體驗
-
首次使用軟體時是否有任何工具提示或應用程式內指引?
-
所需技術經驗等級
- 沒有程式設計背景的使用者可以安裝並開始使用該工具嗎?
- 介面是視覺化和選單驅動的,還是嚴重依賴終端機命令?
安全與隱私強度
- 加密標準
- 透過外部工具或專家審查驗證加密強度
-
該工具是否使用 E2E 加密?使用什麼演算法?(例如,「使用 AES-256 加密;在測試中驗證 E2E」)
-
已知強度彈性
- 該工具是否可在具有嚴格審查或監視的地區使用?
- 它是否包含內建的規避工具?
-
有任何已知的弱點或風險嗎?
-
與已知標準的比較
-
該工具與既定的安全/隱私標準相比如何?
-
資料最小化
-
收集了哪些使用者資料?
-
隱私權政策透明度
- 隱私權政策對資料處理有何規定?
維護/永續性
- 社群支援
-
是否容易從其他使用者或開發人員那裡獲得協助、提問或找到解決方案?
-
開發活躍狀態
- 更新頻率如何?
-
開發團隊的回應速度如何?
-
資金與贊助
- 主要資助者是誰?(例如,非政府組織、政府、私人捐助者)
- 主要贊助商是誰?
- 該軟體在財務上是否可持續?
效能/有效性與可靠性
- 測試環境設定:
- 裝置:[裝置型號和規格(CPU、RAM 等)] -作業系統:[作業系統版本]
-
網路:[網路類型和速度(例如,寬頻、3G/4G 等)]
-
使用者體驗觀察
- 工具感覺有多流暢?
-
正常使用期間工具的回應速度如何?
-
速度與回應速度:
- 它是否能有效率地載入和運作?
- 進行速度測試以測量載入時間和回應速度(例如,使用 ping、traceroute、lighthouse)
-
使用期間是否有任何明顯的延遲或延遲?
-
資源使用:
- 它消耗多少 CPU 和記憶體?
-
使用特定工具(如工作管理員(Windows)、htop(Linux)或活動監視器(macOS))測量 CPU 和記憶體使用情況?
-
網路效能:
- 延遲和頻寬使用量是多少?
-
透過使用 Wireshark 等工具監控頻寬消耗來測試網路效率。
-
可靠性
- 是否有獨立的同儕審查或第三方稽核?
- 詳細說明低錯誤率並指定正常執行時間百分比
- 多次執行核心測試並記錄失敗的嘗試次數
部署考量
- 開源與透明度:
-
程式碼是否開放供獨立驗證?
-
雲端與本機部署:
-
該工具是否需要像 AWS 或 Azure 這樣的雲端基礎架構,或者它可以在私有伺服器上本機執行?
-
依賴項:
- 它是否需要 Docker、Python、資料庫等?
-
依賴項是否清楚記錄?
-
部署後維護
- 部署後,工具是否易於維護?
- 如果部署者決定分支該專案,程式碼是否易於修改?
- 合併/永續性:
- 原始專案對貢獻的開放程度如何?
- 是否有將變更提交回主儲存庫的簡化流程?
測試情境
情境 1
- 筆記與文件
情境 2
- 筆記與文件
洞見與建議
- 主要發現
-
主要發現是什麼?
-
優點:
-
該工具有哪些好處?
-
弱點:
-
該工具有哪些主要缺點?
-
建議改進
-
有哪些改進工具的建議?
-
替代工具:
-
是否有更好的工具可用?如果是,是哪些工具?
-
授權:
-
哪個授權?
-
成本/資源影響:
- 總擁有成本:
- 該工具是否免費使用?
- 是否有付費等級或付費功能?
- 維護、第三方整合或更新是否有隱藏成本?
- [授權成本、安裝、維護和疑難排解的時間、資源]
這對威權環境中的公民社會有何用處?
解釋為什麼這個工具對公民社會組織有用。包括它是否因防火牆或其他封鎖系統而在某些地區不可用。