sshd configure file 中的 ListenAddress 是定義所要監聽的 IP，
預設是 0.0.0.0，也就是 interface 上面所有 IP 都監聽，比方您
今天 eth0, eth1 IP 分別為 168.95.1.1, 192.168.123.1 那麼用
ssh client 到這兩個 IP 都可以。
如果 ListenAddress 指定了要聽的 IP，比方 168.95.1.1 那麼 ssh
將會無法 client 到 192.168.123.1。
這個 ListenAddress 與限制哪些 IP 來源才可以連線並沒有關係。
如果要限制某 IP 才可以使用 ssh 連線進來，可以配合 tcp wrapper
來使用，比方在 /etc/hosts.allow 限制：
sshd:140.128.1.123
在 /etc/hosts.deny 限制：
sshd:all
這樣一來，只有 140.128.1.123 這個 IP 才可以用 ssh 連上來了。
另外直得一提的是，剛好昨天回了一篇，有關於 sshd 可否限制
某個使用者才能登入到系統，請參考下面內容：
作者 leoliou (Just do it!) 看板 Linux
標題 Re: 如何限制linux使用者使用 SSH Client登入
時間 Tue Aug 21 23:34:53 2001
───────────────────────────────────
※ 引述《amy547 (狂叟)》之銘言：
> 請問如何限制linux使用者使用 SSH Client登入，
> 之前用來擋telnet登入的方法好像失效了
編輯 /etc/pam.d/sshd 檔案，加入這一行內容：
複製內容到剪貼板
代碼:
auth required /lib/security/pam_listfile.so item=user sense=deny file=/etc/sshd.deny onerr=succeed 由於版面關係，以上兩行實際上為同一行，請自行做調整。
接下來，自行建立 /etc/sshd.deny 檔案，內容為欲拒絕之 User 即可。
比方：
/etc/sshd.deny 檔案內容:
root
leo
這樣一來，root 與 leo 這兩位使用者，就無法使用 ssh 登入系統了。
